Sentetik veri
Synthetic data
D1 · Temeller, modeller ve veri
Sentetik veri, doğrudan toplanmış gözlemlerin yerine veya yanında kullanılan yapay olarak üretilmiş veridir.
İnceleme durumu: 2026-12-05
Teknik açıklama
Dil modeli eğitiminde üretilmiş talimatlar ve yanıtlar süzülerek eğitim örnekleri olarak kullanılabilir.
Kavramsal sınırlar
Üretim, kökeni açıklar; kendi başına veri kalitesini veya bir göreve uygunluğu ortaya koymaz.
Sağlayıcıdan bağımsız örnek
Örnek: Ekip, taslak destek soruları üretir, bunları kontrol eder ve uygun olanları eğitim veri kümesinde tutar.
Sınırlılıklar
Üretilmiş çıktılar üzerinde tekrarlanan eğitim, incelenen koşullarda özgün veri dağılımının kapsanmasını bozabilir.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1Self-Instruct: Aligning Language Models with Self-Generated Instructions
- Kaynak
- Self-Instruct: Aligning Language Models with Self-Generated Instructions
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract: generated instructions, inputs and outputs; filtering before fine-tuning
- Desteklenen iddia
- Self-Instruct; talimatlar, girdiler ve çıktılar üretir, ardından ince ayarlamadan önce geçersiz veya benzer örnekleri süzer.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, modelle eğitim verisi üreten bir hattır; tüm sentetik veriyi kapsamaz.
2.1The Curse of Recursion: Training on Generated Data Makes Models Forget
- Kaynak
- The Curse of Recursion: Training on Generated Data Makes Models Forget
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract: model collapse in training with model-generated content
- Desteklenen iddia
- Shumailov ve çalışma arkadaşları, inceledikleri koşullarda modeller üretilmiş içerikle eğitildiğinde model çöküşü bildirir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, sentetik verinin her kullanımının veya karışımının çöküşe yol açtığı anlamına gelmez.