Daha iyi önerilerin daha büyük bir model gerektirdiğini varsaymak kolaydır: daha fazla parametre, daha fazla işlem gücü, bir API çağrısının arkasında veri merkezi GPU'su. Açık uçlu metin üretiminde bu varsayım çoğu zaman geçerlidir. Ancak sonraki ifade için otomatik tamamlama, temelde farklı ve daha dar kapsamlı bir görevdir; dizüstü bilgisayarın CPU'sunda çalışan kompakt, kuantize bir model bu işe uygundur.

Otomatik Tamamlama Açık Uçlu Değil, Kısıtlı Bir Görevdir

Büyük bir dil modelinden boş bir sayfada deneme yazmasını istediğinizde, neredeyse hiçbir kısıtlama olmadan yapı, sav ve üslup hakkında binlerce karar vermesi gerekir. Model ölçeğinin yarar sağladığı yer burasıdır: daha fazla parametre genellikle seçilebilecek makul çıktılardan daha geniş bir yelpaze sunar.

Sonraki ifade tahmini farklı bir problemdir. Model, başladığınız cümleye, çevresindeki bağlama ve (Typeahead örneğinde) yazdığınız uygulamaya ilişkin güçlü bir ipucuna zaten sahiptir. Hiçbir şeyden metin üretmez; kısmen kısıtlanmış bir devamı tamamlar. Küçük bir modeli uygulanabilir kılan da tam olarak bu kısıtlamadır: Seçilebilecek makul tamamlamaların sayısı azaldıkça, iyi bir seçim yapmak için gereken ham kapasite de azalır.

Benzetme: bir cümlenin sonraki satırını tahmin etmek, sıfırdan kendi düşüncenizi yazmaktan çok başkasının düşüncesini tamamlamaya benzer. İkincisi açık uçludur; ilkinde ise makul yanıtların alanı çok daha dardır.

Kuantizasyon Ne Yapar?

Ham bir dil modelinin ağırlıkları normalde 16 veya 32 bitlik kayan nokta sayıları olarak saklanır. Kuantizasyon, bu ağırlıkları daha düşük hassasiyete — örneğin 4 bitlik veya 8 bitlik gösterimlere — sıkıştırır; doğruluktaki küçük düşüş genellikle kabul edilebilir düzeydedir. Sonuçta model dosyası özgün boyutunun çok küçük bir kısmına iner ve özel GPU'su olmayan bir dizüstü bilgisayar da dâhil olmak üzere sıradan tüketici donanımlarında yararlı çıkarım yapacak kadar hızlı çalışır.

Bir modelin sunucu rafında değil, tamamen bir kişinin Windows bilgisayarında çalışmasını gerçekçi kılan budur: birkaç yüz megabayttan birkaç gigabayta kadar boyuttaki kuantize bir model, diske ve çalışan diğer uygulamaların yanındaki belleğe rahatça sığar.

Typeahead Modellerinin Boyutlandırılması

Windows için Typeahead, makinenize uygun hız ve öneri kalitesi dengesini seçebilmeniz için isteğe bağlı üç model sunar:

Hızlı (~600 MB) — varsayılan

En küçük modeldir ve düşük gecikme için ayarlanmıştır. Uygulama ilk açıldığında etkin olan budur ve günlük ifade tamamlamalarının çoğu için yeterlidir.

Dengeli (~1,2 GB)

Ek bellek ve disk alanı ayırabilecek makineler için model kapasitesinde bir üst seviyedir; öneri çeşitliliğini artırırken hızdan biraz ödün verir. 8 GB sistem belleği gerekir.

Maksimum (~2,5 GB)

Üç seçenek arasındaki en büyük modeldir; Typeahead'in sunduğu en iyi öneri kalitesini isteyen ve bunun için yeterli donanım kapasitesine sahip kullanıcılar içindir. 8 GB kendi belleğine sahip ayrık bir grafik kartı ve 16 GB sistem belleği gerekir.

Üçü de llama.cppüzerinden çalışır; bu çıkarım motoru, dil modellerini sıradan CPU'larda ve tüketici GPU'larında verimli biçimde çalıştırmak için özel olarak geliştirilmiştir. Üçü de Qwen 3.5temel alınarak oluşturulmuştur. Bu model ailesi 100'den fazla dili kapsar; dolayısıyla dili elle değiştirmeden, önerilerin dili o anda yazdığınız dile uyar.

Bu, Buluta Bağımlı Olmama Anlamına da Gelir

Model yerel olarak çalışacak kadar küçük olduğundan, Typeahead'in ağır işi yapması için bir sunucuya ihtiyacı yoktur. Bunun gizlilik açısından doğrudan bir sonucu vardır — yazdığınız hiçbir şey başka bir yere iletilmez — ama pratik bir sonucu da vardır: Öneriler internet bağlantısı olmadan, API hız sınırlarına takılmadan ve uzak bir hizmetin çalışır durumda olmasına bağlı kalmadan çalışır.

Model Yaklaşık boyut Ödünleşim
Hızlı ~600 MB En düşük gecikme, varsayılan seçenek
Dengeli ~1,2 GB Daha yüksek kapasite, yine de hafif
Maksimum ~2,5 GB Mevcut en iyi öneri kalitesi

Henüz Hiç Model İndirmeden Elde Edebilecekleriniz

Typeahead, ilk günden yarar sağlamak için model gerektirmez. Özel metin parçaları ve sözlük tabanlı otomatik tamamlama, herhangi bir model indirilmeden kurulumun hemen ardından çalışır; üç modelden birini seçtiğinizde bunlara yapay zekâ destekli cümle önerileri eklenir.

Sıkça Sorulan Sorular

600 MB'lık bir model gerçekten işe yarar öneriler sunacak kadar iyi mi?
Bir cümleyi siz yazmaya başladıktan sonra sonraki ifadeyi tahmin etmek için evet. Bu, açık uçlu yazımdan daha dar kapsamlı bir görevdir ve hızlı model tam da bu nedenle Typeahead'in varsayılanıdır.
Kuantizasyon, basitçe ne anlama geliyor?
Bu, modelin dahili sayılarını daha düşük hassasiyete sıkıştırarak dosya boyutunu küçülten ve çıkarımı hızlandıran bir tekniktir; doğrulukta oluşan küçük bir ödünleşim bu tür bir görev için genellikle kabul edilebilir düzeydedir.
Hangi modeli seçmeliyim?
Varsayılan hızlı modelle (~600 MB) başlayın. Bilgisayarınızda yeterli bellek ve disk alanı varsa ve daha geniş kapsamlı öneriler istiyorsanız dengeli veya maksimum modeli deneyin; istediğiniz zaman model değiştirebilirsiniz.
Typeahead'i kullanmak için mutlaka bir model indirmem gerekiyor mu?
Hayır. Özel metin parçaları ve sözlük tabanlı otomatik tamamlama, herhangi bir model indirilmeden önce çalışır. Yapay zekâ destekli cümle tamamlama özelliği, bir model seçtiğinizde kullanılabilir olur.
Typeahead hangi çıkarım motorunu kullanıyor?
llama.cpp ile çalışan Qwen 3.5 model ailesi. Özel donanım gerektirmeden sıradan tüketici CPU'ları ve GPU'larında verimli çıkarım yapmak üzere özellikle seçilmiştir.

Typeahead'i edinin

Hızlı, dengeli veya maksimum modeli seçin. Hepsi fiyata dâhil, ek ücret yok. Tek seferlik $9.99.

Microsoft Store'de edinin