Transformer mimarisi
Transformer Architecture
D2 · Üretken YZ, yetenekler ve sınırlar
Transformer, girdi ve çıktı dizilerindeki ögeler arasındaki ilişkileri modellemek için dikkat mekanizmalarına dayanan bir yapay sinir ağı mimarisidir.
İnceleme durumu: 2027-08-28
Teknik açıklama
Özgün dizi dönüştürme tasarımında öz-dikkat, dizi içindeki konumları ilişkilendirir; mimari diziye hizalı yineleme ve evrişim kullanmaz.
Kavramsal sınırlar
Transformer bir mimaridir, büyük dil modeliyle eş anlamlı değildir; bir dil modeli belirli bir mimariyle uygulanabilir.
Sağlayıcıdan bağımsız örnek
Bir çeviri modeli, cümledeki kelimeleri ilişkilendirmek için Transformer kullanır.
Sınırlılıklar
Özgün makale belirtilen görevler ve yapılandırmalar için sonuç verir; bu nedenle mimari açıklaması evrensel bir başarım vaadi değildir.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1Vaswani et al., Attention Is All You Need
- Kaynak
- Vaswani et al., Attention Is All You Need
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract; Section 1, paragraphs 1 and 4
- Desteklenen iddia
- Özgün Transformer mimarisi yalnızca dikkat mekanizmalarına dayanır ve yineleme ile evrişimden vazgeçer.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, atıf yapılan makalede önerilen mimariyi açıklar; Transformer adı verilen her sonraki modeli açıklamaz.
2.1Vaswani et al., Attention Is All You Need
- Kaynak
- Vaswani et al., Attention Is All You Need
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Section 2, Self-Attention paragraph
- Desteklenen iddia
- Öz-dikkat, bir dizinin temsilini hesaplamak için aynı dizideki farklı konumları ilişkilendirir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, makalenin öz-dikkat açıklamasıdır; her dikkat mekanizmasının aynı biçimde olduğunu ima etmez.