LLM’leri üretime taşımak neden klasik “ML deployment”tan farklı?

LLM entegrasyonu, yapay zeka ve makine öğrenimi projelerindeki geleneksel “modeli deploy et ve metrikleri izle” yaklaşımından daha geniş bir operasyonel çerçeve gerektirir. Çünkü üretimde yalnızca modelin kendisi değil; prompt’lar, araç/aksiyon çağrıları (tool use), RAG (retrieval augmented generation) katmanı, güvenlik kontrolleri ve değerlendirme (eval) altyapısı birlikte çalışır.

Sağlayıcı dokümantasyonları, üretimde güvenlik, izleme, kapasite planlama ve hata yönetimi gibi konuların baştan tasarlanmasını önerir. Örneğin OpenAI üretim en iyi uygulamaları; loglama, güvenlik kontrolleri ve operasyonel dayanıklılık gibi başlıklara özellikle odaklanır. Kaynak

Üretimde LLM risk haritası: Neyi, neden izliyorsunuz?

Aşağıdaki riskler çoğu LLM kullanım senaryosunda (destek botu, içerik asistanı, doküman özetleme, kod asistanı vb.) tekrar eder. Her risk için iki hedef vardır: önleyici kontrol (guardrail) ve tespit edici kontrol (monitoring/alert).

Risk kategorisi Üretimde tipik belirti Başlıca kontroller
Doğruluk / halüsinasyon Uydurma kaynak, yanlış kesinlik, hatalı talimat RAG, alıntı zorunluluğu, değerlendirme seti, örnekleme ile insan kontrolü
Zararlı / toksik içerik Uygunsuz dil, hedefli nefret, sakıncalı öneri Politika filtreleri, sınıflandırıcılar, red/uyarı yanıtları, güvenli prompt tasarımı
Gizlilik / PII sızıntısı Yanıtta kişisel veri, loglarda hassas veri birikimi PII maskeleme, veri minimizasyonu, saklama politikası, erişim kontrolleri
Güvenlik (prompt injection, araç kötüye kullanımı) Modelin sistem talimatlarını aşması, izinsiz veri çekme Araç allowlist, yetki sınırları, içerik/komut ayrımı, saldırı testleri
Performans bozulması (drift, veri kayması) Belirli konularda kalite düşüşü, geri bildirim artışı Golden dataset ile sürekli eval, sürümleme, temsili trafik testleri
Maliyet ve gecikme (latency) Token tüketimi artışı, kuyruklar, zaman aşımı Önbellekleme, yanıt uzunluğu sınırı, daha küçük model/fallback, bütçe alarmları

1) Doğruluk/halüsinasyon: “Tek metrik yok” gerçeğiyle yaşamak

Akademik çalışmalar, halüsinasyon tespiti için kullanılan metriklerin tutarsız olabildiğini; tek bir ölçütün her senaryoda güvenilir “altın standart” gibi çalışmadığını vurgular. Bu nedenle üretimde çok katmanlı ölçüm (otomatik metrikler + LLM-ile değerlendirme + insan örnekleme) daha gerçekçi bir yaklaşımdır. Kaynak Kaynak

Pratik kontrol listesi:

  • Yanıt politikası: Model “bilmiyorum” demeyi ne zaman seçmeli? (Belirsizliği kabul etme.)
  • Kaynaklandırma: RAG kullanıyorsanız yanıtta hangi cümle hangi kaynaktan geldi izlenebilir mi?
  • Otomatik doğrulama: Bazı alanlarda (ürün kataloğu, fiyat listesi, politika metni) doğruluk, yapılandırılmış veri ile karşılaştırılabilir.
  • İnsan örnekleme: Yüksek riskli cevaplar veya yeni sürüm sonrası rastgele örnekler gözden geçirilir.

2) Zararlı içerik ve güvenli yanıt tasarımı

Üretimde “zararlı içerik” sadece küfür/toksisite değildir; yanlış yönlendirme, riskli talimatlar veya bağlama göre sakıncalı olabilecek öneriler de bu kapsama girebilir. Responsible AI rehberleri, politika, yönetişim (governance), test ve izleme pratiklerinin birlikte ele alınmasını önerir. Kaynak

Uygulanabilir adımlar:

  • İçerik politikası belirleyin: Ne engellenir, ne yumuşatılır, ne için insan devreye girer?
  • Çift aşamalı güvenlik: (1) İstek taraması (prompt) (2) Yanıt taraması (completion).
  • Güvenli ret kalıpları: Kullanıcı deneyimini bozmadan sınır koyan, alternatif öneren yanıt şablonları.

3) Gizlilik ve veri yönetimi: Loglarınızı da “ürün” gibi tasarlayın

LLM sistemlerinde en sık gözden kaçan nokta, loglama ve geri bildirim mekanizmasının kendisinin yeni bir veri yüzeyi oluşturmasıdır. Üretimde şu sorulara net yanıt verin: “Hangi veriyi saklıyoruz?”, “Ne kadar süre?”, “Kim erişebilir?”, “Geri bildirim verisi modele/kurallara nasıl geri döner?” OpenAI’ın üretim pratikleri, operasyonel güvenlik ve güvenli işletim ihtiyaçlarını özellikle vurgular. Kaynak

Hızlı öneriler:

  • PII (kişisel veri) olabilecek alanlar için maskeleme/redaksiyon uygulayın.
  • “Varsayılan sakla” yerine varsayılan minimize et yaklaşımı benimseyin.
  • Değerlendirme için tam metin gerekiyorsa, erişimi rol bazlı kısıtlayın ve denetim kayıtları tutun.

4) Güvenlik: Prompt injection ve araç entegrasyonları

LLM’ler dış sistemlere bağlandığında (arama, CRM, e-posta gönderme, dosya okuma/yazma) risk yüzeyi büyür. Buradaki hedef, modeli “her şeyi yapabilen” değil; sınırları net, izinleri dar, davranışı gözlemlenebilir bir bileşen haline getirmektir.

Uygulanabilir kontroller:

  • Araç allowlist: Modelin çağırabileceği eylemleri sınırlayın.
  • Yetki ayrımı: Modelin çağırdığı araçlar asla “admin” yetkisiyle çalışmamalı.
  • İçerik/komut ayrımı: Kullanıcı metninin sistem talimatlarını ezmesine izin vermeyecek tasarım.
  • Saldırı senaryoları: Prompt injection testlerini CI/CD benzeri bir rutin haline getirin.

Maliyet modeli: LLM bütçesi neden tahmin edilenden hızlı şişer?

LLM maliyeti genellikle sadece “model çağrısı” gibi görünür; oysa üretimde toplam maliyet; izleme, değerlendirme, veri saklama, insan denetimi ve uygulama altyapısını da içerir. Ayrıca token bazlı fiyatlandırma, trafik büyüdüğünde hızlı artışlara neden olabilir. Fiyatlar sağlayıcıya ve modele göre değiştiği için, güncel birim fiyatlar için doğrudan sağlayıcı sayfasını referans almak gerekir. Örnek olarak AWS, Bedrock için model/kullanım bazlı fiyatlandırmayı yayınlar. Kaynak

Toplam maliyeti oluşturan kalemler (pratik liste)

  • Inference: Girdi token’ları + çıktı token’ları + ek özellikler (varsa).
  • RAG altyapısı: Vektör veritabanı, arama, indeksleme, doküman işleme.
  • Gözlemlenebilirlik: Log saklama, metrikler, dashboard’lar, uyarılar; ayrıca kalite ölçümü için eval çalıştırma maliyeti.
  • İnsan-in-the-loop: Örnekleme incelemesi, etiketleme, politika/güvenlik incelemeleri.
  • Uygulama katmanı: API gateway, önbellek, kuyruk, rate limit, ölçekleme.

Basit bir maliyet tahmini çerçevesi

Rakam vermeden uygulanabilir bir çerçeve:

  • İstek başına token: Ortalama girdi + ortalama çıktı (p95 ve p99’u da ölçün).
  • Aylık istek sayısı: Beklenen trafik + büyüme senaryosu.
  • Birim fiyat: Seçtiğiniz model ve bölge için sağlayıcı fiyat sayfası.
  • Üstüne ek: RAG + log + eval + insan denetimi maliyetleri.

İpucu: Maliyet sürprizlerinin önemli bir bölümü “çıktı uzunluğu” ve “gereksiz bağlam”dan gelir. Prompt’ları versiyonlayıp ölçerek kısaltmak, çoğu ekipte ilk haftalarda bile hissedilir tasarruf sağlar.

Maliyeti düşürmeye yönelik teknikler (kaliteyi koruyarak)

  • Önbellekleme: Sık sorulan sorular, sık kullanılan şablon yanıtlar.
  • Yanıt uzunluğu kontrolü: Gereksiz uzun yanıtları engelleyen sınırlar.
  • Model hiyerarşisi: Basit işler için daha küçük/ucuz model; karmaşık işler için daha güçlü model.
  • RAG optimizasyonu: Daha az ama daha ilgili pasaj; gereksiz doküman şişmesini azaltın.
  • Değerlendirme bütçesi: Her değişiklikte “tam eval” yerine katmanlı eval (hızlı smoke test + nightly kapsamlı test).

İzleme ve gözlemlenebilirlik: LLM monitoring dashboard’ında neler olmalı?

LLM observability, klasik ML monitoring’e göre daha fazla “metin davranışı” metriği içerir. Endüstri analizleri bu alanın ayrı bir disiplin olarak ele alınmaya başlandığını ve geleneksel izleme yaklaşımlarının tek başına yeterli olmayabildiğini vurgular. Kaynak

Google Cloud’un operasyonel mükemmeliyet perspektifi de üretimde izleme, güvenilirlik ve operasyonel süreçlerin (runbook, SLO, uyarılar) birlikte kurgulanmasını öneren bir çerçeve sunar. Kaynak

1) Operasyon metrikleri (her ekip için zorunlu)

  • Gecikme: p50/p95/p99, streaming varsa ilk token süresi.
  • Hata oranı: zaman aşımı, oran limitleri, araç çağrısı hataları.
  • Kullanım: istek sayısı, token tüketimi, kullanıcı başına maliyet.
  • Sürüm dağılımı: hangi prompt/model sürümü ne kadar trafik alıyor?

2) Kalite metrikleri (tek sayıya indirgemeyin)

Halüsinasyon ve doğruluk değerlendirmesinde metriklerin kararsız olabildiğine dair bulgular nedeniyle, kaliteyi bir “skor”a sıkıştırmak yerine çoklu sinyallerle takip etmek daha güvenlidir. Kaynak Kaynak

  • Görev başarısı: Kullanıcı amacına ulaştı mı? (Örn. çözüm oranı, yeniden temas.)
  • İç tutarlılık: Yanıt kendi içinde çelişiyor mu?
  • RAG kapsamı: Yanıtın ne kadarı getirilen kaynaklarla destekleniyor?
  • Geri bildirim oranı: Olumsuz geri bildirim, düzeltme isteği, eskalasyon.

3) Güvenlik ve politika metrikleri

  • Reddedilen istek oranı: Politika gereği ret (normal), anomali artışı (inceleme gerektirir).
  • Jailbreak/prompt injection sinyalleri: belirli anahtar kalıplar, araç çağrısı anomalileri.
  • PII bayrakları: maskeleme/detektör tetiklenmeleri, sızıntı şüphesi olayları.

Golden dataset ile sürekli değerlendirme (sürekli eval)

Üretimde kaliteyi korumanın en pratik yolu, temsilî örneklerden oluşan bir golden dataset oluşturup her model/prompt değişikliğinde düzenli değerlendirme yapmaktır. Bu yaklaşım, operasyonel mükemmeliyet çerçevelerinde de sürekli iyileştirmenin temel bileşenlerinden biridir. Kaynak

Golden dataset nasıl tasarlanır?

  1. Temsiliyet: En çok trafik alan niyetler + en riskli senaryolar + uzun kuyruk (edge case).
  2. Beklenen çıktı tanımı: Tam metin mi, yoksa ölçülebilir kriterler mi? (Örn. “şu alanlar doldurulmalı”, “şu kaynağa atıf olmalı”.)
  3. Skorlama: Birden fazla kriter (doğruluk, faydalılık, güvenlik uyumu, format).
  4. Sürümleme: Prompt’lar, retrieval ayarları, politika kuralları birlikte sürümlenir.

Adım adım: Üretime hazır LLM entegrasyonu için pratik yol haritası

Adım 1: Kullanım senaryosunu “risk seviyesi” ile tanımlayın

Önce iş hedefini netleştirin (destek talebi çözümü, içerik taslağı, dahili arama vb.) ve hatanın maliyetini sınıflayın. Yüksek riskli senaryolarda (hassas kararlar, kritik talimatlar) daha sıkı kontrol ve daha yüksek insan denetimi gerekir.

Adım 2: Mimariyi netleştirin (model tek başına değil)

  • Prompt katmanı: Sistem talimatı, kullanıcı girişi, bağlam politikası.
  • RAG katmanı: Kaynak seçimi, indeks güncelleme, alıntı stratejisi.
  • Guardrail’ler: İstek/yanıt filtreleri, format doğrulama, araç kısıtları.
  • Fallback: Model hata verirse veya belirsiz kalırsa alternatif akış.

Adım 3: İzleme tasarımını en baştan kurun

“Sonradan ekleriz” yaklaşımı genellikle pahalı olur; çünkü olay anında geriye dönük veri eksik kalır. OpenAI üretim rehberi, izleme ve operasyonel pratiklerin erken tasarlanmasının önemine dikkat çeker. Kaynak

Adım 4: Yayına çıkış öncesi kontrol listesi (kopyala-kullan)

  • Güvenlik: Araç allowlist, en az ayrıcalık, saldırı testleri, rate limit.
  • Gizlilik: Loglarda PII maskeleme, saklama süresi, erişim rolleri.
  • Kalite: Golden dataset smoke test + kapsamlı test; başarısız örneklerin kök neden analizi.
  • Operasyon: SLO’lar (latency, hata), uyarı eşikleri, olay müdahale runbook’ları.
  • Maliyet: Token bütçesi, anomali alarmları, “çıktı uzunluğu” sınırları.

Adım 5: Yayın sonrası sürekli iyileştirme döngüsü

  • Haftalık: En pahalı 10 istek şablonunu ve en uzun yanıtları analiz edin.
  • Aylık: Golden dataset’i yeni edge-case’lerle genişletin; reddedilen istekleri örnekleyip politika ayarlarını gözden geçirin.
  • Sürüm değişikliklerinde: A/B veya kademeli rollout; geri dönüş (rollback) planı.

Sınırlar ve dürüst notlar

LLM ekosistemi hızlı değiştiği için fiyatlandırma, model davranışı ve en iyi uygulamalar zaman içinde güncellenebilir. Bu rehber genel bilgilendirme amaçlıdır; hukuki, güvenlik veya uyum danışmanlığı yerine geçmez. Özellikle kişisel veri, düzenleyici yükümlülükler ve yüksek riskli kullanım senaryolarında kurum içi uzmanlarla birlikte değerlendirme yapmanız gerekir.

Sonuç: Güvenilir üretim LLM’i, “model + operasyon” birlikte tasarlanarak kurulur

LLM deployment’ta başarı; yalnızca iyi bir model seçmekten değil, riskleri ölçülebilir hale getirmekten, maliyeti görünür kılmaktan ve izleme/geri bildirim döngüsünü oturtmaktan geçer. Sağlayıcıların üretim rehberleri (OpenAI), operasyonel mükemmeliyet çerçeveleri (Google Cloud) ve Responsible AI kaynakları (Microsoft), bu dönüşümü “süreç + ölçüm + yönetişim” üçlüsüyle ele almayı önerir. Halüsinasyon ölçümünde standart eksikliği gibi belirsizlikler ise, çok katmanlı izleme ve insan denetimini pratikte değerli kılar. Kaynak