YZ gözlemlenebilirliği
AI observability
D4
YZ gözlemlenebilirliği, YZ destekli sistemin kullanım sırasında nasıl davrandığını ve sorunların nedenlerini incelemek için operasyonel sinyallerin ve bağlamın kullanılmasıdır.
İnceleme durumu: 2026-12-04
Teknik açıklama
Yararlı kanıt; istekleri, model ve araç adımlarını, sonuçları, hataları, sürümleri ve ilgili bağlamı birbirine bağlayarak operatörlerin bir davranışın neden oluştuğunu sormasına ve onu iş akışı boyunca izlemesine yardımcı olabilir.
Kavramsal sınırlar
Gözlemlenebilirlik yalnızca günlük toplamaktan daha geniştir ve değerlendirmeden farklıdır: günlükler bir sinyaldir, değerlendirme ise tanımlı kalite sorularını test eder; ikisi de tek başına gerçek dünyadaki doğruluğu veya güvenliği kanıtlamaz.
Sağlayıcıdan bağımsız örnek
Bir operatör kötü yanıtı; istek izini getirilen belge kimlikleri, araç sonuçları, model sürümü, gecikme, hata olayları ve incelenmiş sonuç etiketiyle birleştirerek araştırır.
Sınırlılıklar
Sinyaller eksik, örneklenmiş, mahremiyet açısından hassas veya zayıf ilişkilendirilmiş olabilir; enstrümantasyon değerlendirme, erişim kontrolü veya hesap verebilir insan muhakemesinin yerine geçemez.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1OpenTelemetry, Observability primer
- Kaynak
- OpenTelemetry, Observability primer
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- What is Observability?: system from outside, novel problems, and why
- Desteklenen iddia
- OpenTelemetry, gözlemlenebilirliği sistemi dışarıdan anlamak; yeni sorunları gidermek ve davranışın neden oluştuğunu sormak olarak tanımlar.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, OpenTelemetry’nin genel sistem gözlemlenebilirliği kavramıdır; eksiksiz YZ’ye özgü ölçüm programı tanımlamaz.
2.1OpenTelemetry Semantic Conventions, Generative AI registry
- Kaynak
- OpenTelemetry Semantic Conventions, Generative AI registry
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- GenAI registry: model, agent version, tool definitions, tool type, and operation context
- Desteklenen iddia
- OpenTelemetry’nin Üretken YZ anlamsal kurallar kaydı; model, ajan sürümü, araç tanımları, araç türü ve işlem bağlamı için öznitelikler içerir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Anlamsal sözlük daha tutarlı kayıt ve ilişkilendirme sağlar; ancak uygulamanın yeterli YZ bağlamını kaydettiğini veya doğru sonuçlara ulaştığını göstermez.
3.1NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile
- Kaynak
- NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Printed p. 27: known ground truth and varied evaluation methods
- Desteklenen iddia
- NIST, üretken YZ bilgi bütünlüğü için çeşitli değerlendirme yöntemleri ve bilinen temel gerçek önerir; bu nedenle operasyonel gözlemlenebilirlik değerlendirme yerine geçirilmemelidir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Ayrım sonucu, operasyonel sinyaller ile değerlendirme yöntemlerinin farklı amaçlarından çıkarımdır; ikisinden birinin gereksiz olduğu iddiası değildir.