Referans gerçeklik
Ground truth
D4
Referans gerçeklik, bir sistemin çıktısıyla karşılaştırmak için kullanılan göreve özgü referans bilgi veya kabul edilmiş hedeftir.
İnceleme durumu: 2026-11-26
Teknik açıklama
Değerlendirmeye karşılaştırma, hesaplama veya yargılama için bir referans sağlar.
Kavramsal sınırlar
Referans gerçeklik yanılmaz gerçek değildir; insan anotasyonu belirsizlik ve anlaşmazlık içerebilir.
Sağlayıcıdan bağımsız örnek
Teslimat durumu görevinde, siparişin teslim edildiğini belirten incelenmiş kayıt, modelin sınıflandırmasıyla karşılaştırılan referans olabilir.
Sınırlılıklar
Belirsizlik ve anlaşmazlık, göreve özgü referans bilgide kalabilir ve karşılaştırma sonuçlarının nasıl yorumlandığını etkileyebilir.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1NIST AI 600-1, Generative Artificial Intelligence Profile — D4 evidence slice
- Kaynak
- NIST AI 600-1, Generative Artificial Intelligence Profile — D4 evidence slice
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- MAP 2.3 action text, printed p. 27
- Desteklenen iddia
- NIST, yapay zekâ sistemi bilgi bütünlüğünü inceleme yöntemlerinden biri olarak bilinen referans gerçeklik verisiyle karşılaştırmayı sayar.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Kaynak referans gerçekliği her değerlendirme hedefi için evrensel çözüm olarak değil, yöntemlerden biri olarak sunar.
2.1NIST AI 100-1, Artificial Intelligence Risk Management Framework (AI RMF 1.0) — D4 evidence slice
- Kaynak
- NIST AI 100-1, Artificial Intelligence Risk Management Framework (AI RMF 1.0) — D4 evidence slice
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Section 3, printed p. 12
- Desteklenen iddia
- NIST, güvenilir yapay zekâ niteliklerine ilişkin belirli metriklere ve eşik değerlerine karar verilirken insan yargısının kullanılması gerektiğini söyler.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, yargının açık hâle getirilmesi gereğini destekler; tek bir etiketleme yöntemi öngörmez veya anlaşmazlığı ortadan kaldırmaz.
3.1Aroyo and Welty, Truth Is a Lie: Crowd Truth and the Seven Myths of Human Annotation
- Kaynak
- Aroyo and Welty, Truth Is a Lie: Crowd Truth and the Seven Myths of Human Annotation
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract; "The Seven Myths" and "Disagreement Is Bad," printed pp. 16-17
- Desteklenen iddia
- Aroyo ve Welty, insan anotasyonunu belirsizlik ve anlaşmazlığın yalnızca hata olarak atılmak yerine bilgi taşıyabildiği bir süreç olarak açıklar.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, insan anotasyonuna ilişkin bir açıklamadır; her anlaşmazlığın arzu edilir olduğunu veya her görevin kullanılabilir bir referanstan yoksun olduğunu söylemez.