Transformer mimarisi
Transformer architecture
D2
Transformer, girdi ve çıktı dizilerindeki ögeler arasındaki ilişkileri modellemek için dikkat mekanizmalarına dayanan bir yapay sinir ağı mimarisidir.
İnceleme durumu: 2027-08-28
Teknik açıklama
Özgün dizi dönüştürme tasarımında öz-dikkat, dizi içindeki konumları ilişkilendirir; mimari diziye hizalı yineleme ve evrişim kullanmaz.
Kavramsal sınırlar
Transformer bir mimaridir, büyük dil modeliyle eş anlamlı değildir; bir dil modeli belirli bir mimariyle uygulanabilir.
Sağlayıcıdan bağımsız örnek
Bir sistem, önerilen özeti üretmeden önce destek talebindeki sözcükleri ilişkilendirmek için Transformer tabanlı bir model kullanabilir.
Sınırlılıklar
Özgün makale belirtilen görevler ve yapılandırmalar için sonuç verir; bu nedenle mimari açıklaması evrensel bir başarım vaadi değildir.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1Vaswani et al., Attention Is All You Need
- Kaynak
- Vaswani et al., Attention Is All You Need
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract; Section 1, paragraphs 1 and 4
- Desteklenen iddia
- Özgün Transformer mimarisi yalnızca dikkat mekanizmalarına dayanır ve yineleme ile evrişimden vazgeçer.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, atıf yapılan makalede önerilen mimariyi açıklar; Transformer adı verilen her sonraki modeli açıklamaz.
2.1Vaswani et al., Attention Is All You Need
- Kaynak
- Vaswani et al., Attention Is All You Need
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Section 2, Self-Attention paragraph
- Desteklenen iddia
- Öz-dikkat, bir dizinin temsilini hesaplamak için aynı dizideki farklı konumları ilişkilendirir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, makalenin öz-dikkat açıklamasıdır; her dikkat mekanizmasının aynı biçimde olduğunu ima etmez.