"Menjalankan model bahasa di perangkat Anda" adalah kalimat yang membuat orang membayangkan kipas berputar kencang dan laptop yang menjadi panas meski tidak melakukan apa-apa. Bayangan itu wajar, karena begitulah yang terjadi saat Anda menjalankan model obrolan dengan cara yang buruk.
Saran pengetikan memiliki beban kerja yang berbeda. Berikut biaya sebenarnya agar Anda dapat menyesuaikan ukurannya dengan perangkat yang Anda miliki.
Empat jenis biaya, dan hanya satu yang konstan
Penyimpanan. File model, cukup sekali. Beberapa ratus megabita hingga beberapa gigabita, digunakan saat mengunduh.
Memori. Bobot model harus tetap berada di memori selama model dimuat: kira-kira sebesar file, ditambah sedikit ruang kerja tambahan. Inilah biaya konstan dan faktor yang menentukan apakah suatu ukuran cocok dengan perangkat Anda. Pada laptop 16 GB, model yang menggunakan satu gigabita memori tidaklah berarti banyak. Pada laptop 8 GB dengan browser terbuka, penggunaan tiga gigabita tentu terasa.
Komputasi. Hanya saat saran dihasilkan. Untuk melengkapi kalimat, komputasi berlangsung dalam rentetan beberapa ratus milidetik, beberapa kali dalam semenit, dan sebagian besar waktu di antaranya diisi jeda di antara ketikan Anda sendiri. Bandingkan dengan asisten obrolan yang menghasilkan enam ratus kata, yang membuat prosesor bekerja penuh selama beberapa detik.
Baterai. Mengikuti penggunaan komputasi. Rentetan singkat hanya menghabiskan sedikit daya; catatan jujurnya, perangkat yang tidak pernah masuk ke kondisi daya rendah mendalam akan menghabiskan lebih banyak daya daripada perangkat yang mengalaminya, jadi dampaknya tidak benar-benar nol.
Angka yang perlu diingat: prediksi pengetikan hampir sepanjang waktu tidak aktif. Penggunaan memori saat model dimuat adalah biaya sebenarnya; selebihnya nyaris tak berarti, kecuali jika ukuran model terlalu besar untuk perangkat.
Mengapa ukuran file lebih kecil dari perkiraan
Model yang diiklankan berukuran beberapa ratus megabita bukan berarti memiliki beberapa ratus juta parameter. Model didistribusikan dalam bentuk terkuantisasi, dengan bobot yang disimpan dalam presisi lebih rendah—umumnya empat atau lima bit, bukan enam belas bit. Ukurannya dan penggunaan memorinya berkurang kira-kira empat kali lipat, dengan penurunan kualitas yang kecil tetapi terukur.
Untuk penalaran terbuka, penurunan kualitas itu berpengaruh. Namun, untuk melengkapi kalimat yang sudah Anda mulai, pengaruhnya sebagian besar tidak terasa karena batasan berasal dari teks Anda sendiri, bukan dari kedalaman model. Inilah alasan teknis model lokal berukuran kecil dapat digunakan untuk tugas ini, tetapi tidak untuk tugas lainnya.
Batas sebenarnya adalah latensi, bukan kualitas
Ada tenggat yang tegas. Saran yang muncul setelah Anda mengetik sendiri kata-kata tersebut lebih buruk daripada tidak ada saran sama sekali: saran itu muncul tepat saat Anda selesai, dan Anda membacanya tanpa guna.
Tenggat tersebut membatasi ukuran model, seberapa besar pun memori yang Anda miliki. Setelah titik tertentu, model yang lebih baik menjadi model yang lebih lambat, dan model yang lebih lambat berarti tidak digunakan. Sasaran praktisnya adalah saran yang muncul saat jari Anda masih berada di sela-sela kata—dalam hitungan beberapa ratus milidetik, bukan satu setengah detik.
Hal ini membalik intuisi yang biasanya kita miliki. Di sini, model yang lebih besar tidak lebih baik jika saran datang terlambat. Ukuran yang tepat adalah ukuran terbesar yang masih dapat menjawab saat jeda pada perangkat keras Anda; jawabannya berbeda untuk ultrabook 2019 dan komputer desktop dengan kartu grafis diskret.
Memilih ukuran
Typeahead menyediakan tiga ukuran yang langsung mewakili kompromi tersebut.
| Ukuran | Di penyimpanan | Persyaratan yang disebutkan | Untuk siapa |
|---|---|---|---|
| Cepat (bawaan) | ~600 MB | — | Semua perangkat yang didukung; pilihan yang tepat untuk memulai |
| Seimbang | ~1,2 GB | Memori sistem 8 GB | Perangkat dengan kapasitas lebih: saran lebih baik, tetap cepat dengan nyaman |
| Kualitas maksimum | ~2,5 GB | Kartu grafis diskret dengan memori tersendiri 8 GB, memori sistem 16 GB | Komputer desktop dan workstation dengan GPU sungguhan |
Ada dua hal tentang tabel tersebut.
Mulailah dengan mode Cepat sekalipun perangkat Anda mampu menjalankan ukuran lebih besar. Gunakan selama seminggu. Jika sarannya cukup akurat dan berguna, model yang lebih besar tidak memberi Anda manfaat yang akan terasa saat mengetik pesan obrolan. Jika sarannya terasa meleset, naikkan ukurannya—dan kini Anda tahu apa yang dikorbankan demi latensi.
Tingkatan maksimum memerlukan kartu diskret dengan memori tersendiri sebesar 8 GB, bukan 8 GB memori sistem bersama. Grafis terintegrasi pada laptop tidak memenuhi persyaratan itu, dan memaksakan model pada perangkat keras yang harus menggunakan memori virtual untuk menjalankannya adalah cara tepat untuk menghasilkan pengalaman kipas berputar kencang yang dibahas di awal artikel ini.
Perangkat yang benar-benar kekurangan kapasitas
- RAM 8 GB dengan browser, Teams, dan Office terbuka. Anda sudah hampir mencapai batas sebelum aplikasi lain dimuat. Gunakan model terkecil dan perkirakan dampaknya akan lebih terasa dibandingkan pada perangkat dengan RAM 16 GB. Jika perangkat Anda sudah menggunakan memori virtual dalam kegiatan sehari-hari, model yang tetap berada di memori akan memperburuknya.
- Prosesor lama tanpa AVX2. Pustaka inferensi memanfaatkan instruksi vektor. Prosesor yang dibuat sebelum 2013 akan lebih lambat daripada semua angka yang disebutkan, dan batas latensi di atas akan menjadi masalah.
- Laptop tipis yang dibatasi suhu. Rentetan penggunaan cukup singkat sehingga beban kerja ini saja kemungkinan tidak akan menyebabkan penurunan kecepatan berkelanjutan akibat panas, tetapi perangkat yang sudah mengalami penurunan kecepatan saat menjalankan beban lain tidak memiliki kapasitas tersisa.
- Menggunakan baterai, tanpa sumber daya listrik. Saran tetap berfungsi karena diproses secara lokal dan tidak memerlukan koneksi. Jika Anda mengoptimalkan penggunaan selama penerbangan panjang, model yang lebih kecil adalah pilihan yang tepat.
Cara memeriksanya di perangkat Anda sendiri
Angka yang diukur pada laptop orang lain tidak banyak memberi tahu Anda. Lakukan dua pengukuran selama sepuluh menit.
- 1. Sebelum memasang apa pun, buka Task Manager → Performance dan catat penggunaan memori dalam pengaturan kerja sehari-hari: tab browser yang biasa Anda buka, email, dan obrolan.
- 2. Setelah memasang dan memuat model, lihat angka yang sama dan penggunaan memori aplikasi itu sendiri di tab Processes.
Jika perbedaannya masih membuat penggunaan memori jauh di bawah kapasitas total, Anda tidak masalah. Jika penggunaannya hampir mencapai batas, turunkan ukuran model.
Latensi bersifat subjektif, dan itu justru lebih baik: ketik kalimat yang biasanya Anda tulis, lalu perhatikan apakah saran sudah muncul saat jari Anda berhenti sejenak atau baru muncul sesudahnya. Masa uji coba adalah cara tepat untuk menjawabnya—masa uji coba Typeahead berlangsung tujuh hari, dengan semua ukuran model tersedia.
Manfaat yang Anda dapatkan sebanding dengan biayanya
- Tidak ada yang Anda ketik meninggalkan perangkat. Ini bukan kebijakan tentang cara server menangani teks Anda, melainkan sifat dari lokasi pemrosesannya.
- Aplikasi ini berfungsi tanpa koneksi. Di pesawat, di kereta, atau di Wi-Fi hotel yang tidak lagi dapat menemukan alamat DNS.
- Tanpa langganan per pengguna dan tanpa akun, karena tidak ada server yang perlu dibiayai.
- Tanpa latensi yang berubah-ubah. Model lokal memiliki kecepatan yang sama pada pukul 9 pagi dan pukul 5 sore, tidak seperti layanan bersama.
Apakah manfaat itu sepadan dengan satu gigabita memori yang terus digunakan merupakan pertanyaan sungguhan, dan jawabannya berbeda bagi setiap orang. Pertanyaannya tidak serumit kedengarannya, dan Anda bisa menjawabnya dalam seminggu.