“Makinenizde bir dil modeli çalıştırıyor” cümlesi, insanların fanı hızlanmış ve boşta dururken ısınan bir dizüstü bilgisayarı gözlerinde canlandırmasına neden olur. Bunu düşünmeleri anlaşılır, çünkü kötü biçimde bir sohbet modeli çalıştırdığınızda olan budur.
Yazım önerileri farklı bir iş yüküdür. Sahip olduğunuz makineye uygun boyutu seçebilmeniz için, gerçekte ne kadara mal olduklarını açıklayalım.
Dört maliyet var ve yalnızca biri sabit
Disk. Model dosyası, bir kez. İndirme sırasında ödenen, birkaç yüz megabayttan birkaç gigabayta kadar bir maliyet.
Bellek. Model yüklüyken ağırlıkların bellekte kalması gerekir: kabaca dosyanın boyutu artı makul miktarda çalışma ek yükü. Bu sabit maliyettir ve hangi boyutun makinenize sığıp sığmayacağını belirleyen şeydir. 16 GB'lık bir dizüstü bilgisayarda bellekte tutulan bir gigabaytlık model dikkate değer bir yük değildir. Tarayıcısı açık 8 GB'lık bir dizüstü bilgisayarda ise üç gigabayt öyle değildir.
İşlem gücü. Yalnızca öneri üretilirken kullanılır. Cümle tamamlama için bu, sizin tuş vuruşlarınız arasındaki duraklamaların baskın olduğu, dakikada birkaç kez gerçekleşen ve birkaç yüz milisaniye süren bir çalışmadır. Bunu, altı yüz sözcük üreten ve işlemciyi birkaç saniye boyunca sonuna kadar kullanan bir sohbet asistanıyla karşılaştırın.
Pil. İşlem gücü kullanımını izler. Kısa çalıştırmalar az enerji tüketir; dürüstçe belirtmek gerekirse, derin güç tasarrufu durumlarına hiç geçmeyen bir makine, bu durumlara geçen bir makineden daha fazla enerji harcar. Dolayısıyla etki tam olarak sıfır değildir.
Aklınızda tutmanız gereken sayı şu: Yazım tahmini neredeyse her zaman boştadır. Asıl maliyet bellekte tutulan modeldir; model makine için aşırı büyük olmadığı sürece geri kalan her şey önemsizdir.
Dosya boyutu neden beklediğinizden küçük?
Birkaç yüz megabayt olarak tanıtılan bir model, birkaç yüz milyon parametreden oluşmaz. Modeller kuantize edilmiş olarak dağıtılır; ağırlıklar, on altı bit yerine genellikle dört veya beş bit kullanılarak daha düşük hassasiyette saklanır. Bu, ölçülebilir ancak makul düzeyde bir kalite kaybı karşılığında boyutu ve bellek kullanımını kabaca dörtte bire indirir.
Açık uçlu akıl yürütmede bu kayıp önemlidir. Ancak başlamış olduğunuz bir cümleyi tamamlamada çoğunlukla önemli değildir; çünkü kısıtlar modelin derinliğinden değil, kendi metninizden gelir. Küçük bir yerel modelin bu iş için uygun, başka işler içinse uygun olmamasının teknik nedeni budur.
Asıl sınır kalite değil, gecikmedir
Kesin bir zaman sınırı vardır. Sözcükleri kendiniz yazdıktan sonra gelen bir öneri, hiç öneri gelmemesinden daha kötüdür: Tam siz bitirirken görünür ve boşuna okursunuz.
Belleğiniz ne kadar olursa olsun bu sınır modelin boyutunu kısıtlar. Belli bir noktadan sonra daha iyi model, daha yavaş model demektir; daha yavaş olan da kullanılmaz. Uygulamada hedef, siz sözcükler arasındaki boşluktayken, birkaç yüz milisaniye içinde beliren bir öneridir; bir buçuk saniye değil.
Bu, genel sezgiyi tersine çevirir. Önerinin gecikmeye başladığı noktadan sonra büyüğün daha iyi olduğu söylenemez. Doğru boyut, donanımınızda boşluk kapanmadan yanıt verebilen en büyük modeldir; 2019 model bir ince ve hafif dizüstü bilgisayarda verilecek yanıt, ayrık ekran kartı olan bir masaüstü bilgisayardakinden farklıdır.
Boyut seçimi
Typeahead üç seçenek sunar ve bunlar söz konusu dengeye doğrudan karşılık gelir.
| Boyut | Diskte | Belirtilen gereksinim | Kimler için uygun? |
|---|---|---|---|
| Hızlı (varsayılan) | ~600 MB | — | Desteklenen her makine için; başlamak için en doğru seçenek |
| Dengeli | ~1,2 GB | 8 GB sistem belleği | Ek kapasitesi olan makineler: daha iyi öneriler, yine de rahatça hızlı |
| En yüksek kalite | ~2,5 GB | Kendine ait 8 GB belleği olan ayrık ekran kartı, 16 GB sistem belleği | Gerçek bir GPU'ya sahip masaüstü ve iş istasyonları |
Bu tabloyla ilgili iki nokta.
Makineniz daha fazlasını kaldırabilecek olsa bile Hızlı ile başlayın. Bir hafta kullanın. Öneriler yeterince doğruysa, daha büyük bir model sohbet mesajı yazarken fark edeceğiniz bir şey kazandırmaz. Öneriler belirgin biçimde isabetsizse daha büyük modele geçin; böylece gecikme karşılığında ne kazandığınızı bilirsiniz.
En yüksek kademe, kendine ait 8 GB belleği olan ayrık bir ekran kartı ister, paylaşılan 8 GB sistem belleğini değil. Dizüstü bilgisayarlardaki tümleşik grafikler bu gereksinimi karşılamaz; belleğe sayfalama yapmak zorunda kalan donanımda bir modeli zorla çalıştırmak da bu yazının başında sözünü ettiğimiz fanın hızla dönmesine neden olur.
Kaynakları gerçekten kısıtlı makineler
- Tarayıcı, Teams ve Office açıkken 8 GB RAM. Başka bir şey yüklenmeden bile sınıra yaklaşmış durumdasınız. En küçük modeli kullanın ve 16 GB'ı olan birine kıyasla etkisini daha çok hissetmeyi bekleyin. Makineniz normal bir gün içinde zaten disk belleğine başvuruyorsa, bellekte tutulan bir model durumu daha da kötüleştirir.
- AVX2 desteği olmayan eski işlemciler. Çıkarım kitaplıkları vektör komutlarından yararlanır. 2013'ten önceki bir işlemci, belirtilen tüm değerlerden daha yavaş olacaktır; asıl sorun da yukarıda açıklanan gecikme sınırıdır.
- Isıl kısıtlamaları olan ince dizüstü bilgisayarlar. Kısa süreli çalıştırmalar, yalnızca bu iş yükünün neden olduğu sürekli hız kısıtlamasını pek olası kılmaz; ancak başka iş yükleri nedeniyle zaten hız kısıtlaması yaşayan bir makinede kullanılabilir kaynak kalmamıştır.
- Prizden uzakta, pil gücüyle. Öneriler çalışmaya devam eder; çünkü yereldir ve bağlantı gerektirmez. Uzun bir uçuş için pil ömrünü en iyi duruma getirmeye çalışıyorsanız kullanmanız gereken model daha küçük olandır.
Kendi makinenizde nasıl kontrol edersiniz?
Başkasının dizüstü bilgisayarında ölçülen değerler size pek bir şey anlatmaz. On dakikada iki ölçüm alın.
- 1. Herhangi bir şey yüklemeden önceGörev Yöneticisi → Performans bölümünü açıp normal çalışma düzeninizde —her zamanki tarayıcı sekmeleriniz, e-postanız ve sohbet uygulamanız açıkken— kullanılan belleği not edin.
- 2. Bir modeli yükleyip çalıştırdıktan sonraaynı değere ve İşlemler sekmesinde uygulamanın kendi bellek kullanımına bakın.
Aradaki fark toplam belleğinizin rahatça altında kalıyorsa sorun yok. Sizi sınıra yaklaştırıyorsa bir boy küçüğüne geçin.
Gecikme özneldir; bunun daha iyi olması da bundandır: Normalde yazacağınız bir cümleyi yazın ve parmaklarınız durduğunda önerinin orada olup olmadığına ya da sonradan gelip gelmediğine bakın. Bunu anlamanın doğru yolu deneme süresidir: Typeahead'in deneme süresi yedi gündür ve tüm model boyutları açıktır.
Bu maliyet karşılığında ne elde edersiniz?
- Yazdıklarınızın hiçbiri makineden çıkmaz. Bu, bir sunucunun metninizi nasıl işlediğine ilişkin bir politika değil, metnin nerede işlendiğinin bir özelliğidir.
- Bağlantı olmadan çalışır. Uçakta, trende veya DNS çözümlemesi duraklamış otel Wi-Fi'ında.
- Kullanıcı başına abonelik ve hesap yoktur; çünkü ödeme yapılacak bir sunucu yoktur.
- Değişken gecikme yoktur. Yerel model sabah 9'da da akşam 5'te de aynı hızdadır; paylaşımlı bir hizmette durum böyle değildir.
Bunun bellekte tutulan bir gigabayta değip değmeyeceği, kişiden kişiye yanıtı değişen gerçek bir sorudur. Göründüğünden daha küçük bir sorudur ve bir haftada yanıtlanabilir.