Bilgi damıtma
Knowledge distillation
D2 · Üretken YZ, yetenekler ve sınırlar
Bilgi damıtma, bir öğrenci modelin öğretmen model veya model topluluğunun sağladığı bilgi kullanılarak eğitilmesidir.
İnceleme durumu: 2026-12-05
Teknik açıklama
Öğrenci, öğretmenin çıktılarından veya temsillerinden öğrenir; bu, daha küçük bir modeli destekleyebilir.
Kavramsal sınırlar
Damıtma, öğrenilmiş davranışı eğitim yoluyla aktarır; nicemleme sayısal temsili değiştirir.
Sağlayıcıdan bağımsız örnek
Örnek: Ekip, büyük bir sınıflandırıcının tahminleriyle küçük bir metin sınıflandırıcısı eğitir ve onu ayrılmış örneklerle değerlendirir.
Sınırlılıklar
Belirli çalışmalardaki sıkıştırma sonuçları, her öğrencinin öğretmenin tüm yeteneklerini koruyacağını garanti etmez.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1Distilling the Knowledge in a Neural Network
- Kaynak
- Distilling the Knowledge in a Neural Network
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract: compressing ensemble knowledge into one model
- Desteklenen iddia
- Hinton ve çalışma arkadaşları, model topluluğundaki bilginin dağıtımı daha kolay tek bir modele aktarılmasını açıklar.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, temel damıtma biçimlerinden biridir; model topluluğu kullanma zorunluluğu değildir.
2.1TinyBERT: Distilling BERT for Natural Language Understanding
- Kaynak
- TinyBERT: Distilling BERT for Natural Language Understanding
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract: teacher-student knowledge transfer and two-stage distillation
- Desteklenen iddia
- TinyBERT, Transformer dil modellerini sıkıştırmak için öğretmen-öğrenci aktarımını inceler.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bildirilen verimlilik ve doğruluk, değerlendirilen modeller ve görevlerle ilgilidir.