Cihaz üzerinde yapay zekâ
On-device AI
D3 · İstem, bağlam, RAG, araçlar ve ajanlar
Cihaz üzerinde yapay zekâ, YZ çıkarımını telefon veya bilgisayar gibi yerel bir cihazda çalıştırır.
İnceleme durumu: 2026-12-05
Teknik açıklama
Uyumlu model ve çalışma zamanı, cihazın kullanılabilir hesaplama ve bellek kaynaklarını kullanır.
Kavramsal sınırlar
Terim, çıkarımın nerede çalıştığını belirtir. Uygulamanın her bölümünün çevrimdışı olduğu veya hiç veri iletilmediği anlamına gelmez.
Sağlayıcıdan bağımsız örnek
Örnek: Not uygulaması, yerel olarak kurulu modelle taslak özet üretir.
Sınırlılıklar
Desteklenen çalışma zamanı veya başarılı bir telefon gösterimi, her cihazla uyumluluğu ortaya koymaz.
İlişkili kavramlar
Atomik iddialar ve kanıt
1.1Google AI Edge: LiteRT-LM
- Kaynak
- Google AI Edge: LiteRT-LM
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Run LLMs on-device with LiteRT-LM; Cross-platform; Hardware accelerated
- Desteklenen iddia
- Google, LiteRT-LM’yi mobil ve masaüstü platformlarda dil modellerini cihaz üzerinde çalıştırmak için belgeler.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, bir çalışma zamanının kapsamıdır; tüm YZ uygulamalarına ilişkin vaat değildir.
2.1Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
- Kaynak
- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
- Kaynak rolü
- Yetkili kaynak
- Tam konum
- Abstract: 3.8B phi-3-mini, phone deployment, and 7B phi-3-small
- Desteklenen iddia
- Phi-3 raporu, telefona dağıtılabilecek kadar küçük bir model tanımlar.
- Son doğrulama
- Gözden geçirme tarihi
- Kapsam sınırlaması
- Bu, belirli bir model gösterimidir; tüm küçük modellerin her telefona sığdığını kanıtlamaz.