Token
Token
D2
OpenAI’ın belgelediği metin işlemede token, modelin işlemesi veya üretmesi için metnin bölündüğü birimdir.
İnceleme durumu: 2026-11-26
Teknik açıklama
OpenAI belgelerinde token, kodlamaya ve bağlama bağlı olarak bir karakteri, sözcük parçasını, tüm sözcüğü, noktalama işaretini veya boşluğu temsil edebilir.
Kavramsal sınırlar
OpenAI belgelerinde token zorunlu olarak sözcük değildir; aynı metnin token sayısı kodlamalara ve dillere göre değişebilir.
Sağlayıcıdan bağımsız örnek
Bir ekip uzun bir isteği göndermeden önce yalnızca sözcük sayısını tahmin etmek yerine hedef modelin tokenleştiricisinin ürettiği tokenleri sayabilir.
Sınırlılıklar
Token örnekleri ve sayıları kodlamaya özgüdür; bu nedenle bir modeldeki sayı başka bir modele kendiliğinden uygulanmaz.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1OpenAI Help Center, Understanding and counting tokens
- Kaynak
- OpenAI Help Center, Understanding and counting tokens
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Overview: token units and possible text segments
- Desteklenen iddia
- Tokenler, modelin metni işlemek için kullandığı birimlerdir; token bir karakteri, sözcük parçasını, tüm sözcüğü veya noktalama işaretini temsil edebilir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, kendi modellerinin metin işlemesine yönelik resmî teknik dokümantasyondur; tüm dil modelleri için tek bir tokenleştirici öngörmez.
2.1OpenAI Help Center, Understanding and counting tokens
- Kaynak
- OpenAI Help Center, Understanding and counting tokens
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Overview and Understand how text becomes tokens: count variability
- Desteklenen iddia
- OpenAI’ın belgelenen metin modellerinde token sayısı sözcük sayısıyla aynı değildir ve modele, kodlamaya ve dile göre değişebilir.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, sağlayıcıyla sınırlı dokümantasyondur; sabit dönüşüm oranı veya evrensel tokenleştirici davranışı ortaya koymaz.