Cara Kerja Teks Prediktif: Dari T9 hingga Model Lokal

Teks prediktif bekerja dengan memperkirakan huruf, kata, atau frasa apa yang paling mungkin muncul berikutnya, berdasarkan apa yang sudah Anda ketik, lalu menawarkan tebakan terbaik. Perkiraan ini berasal dari model bahasa. Pada ponsel awal, model tersebut berupa kamus yang diurutkan menurut seberapa umum setiap kata digunakan. Kemudian, model tersebut menjadi statistik tentang kata yang mengikuti kata lain. Kini, model itu biasanya berupa jaringan neural yang membaca seluruh kalimat dan berjalan langsung di perangkat.

Namun, panduan autocomplete AI di Windows membahas cara mendapatkan saran frasa di PC. Artikel ini menjelaskan mekanisme di baliknya, satu generasi demi satu generasi.

Generasi pertama: kamus untuk mengatasi ambiguitas

T9 mengatasi masalah perangkat keras. Papan tombol ponsel memiliki dua belas tombol, dan sebagian besar tombol memuat tiga atau empat huruf. Tegic Communications mengajukan paten untuk sebuah “komputer papan ketik tereduksi untuk mengatasi ambiguitas” pada 1995, dan paten itu diberikan pada 1998. Setiap penekanan tombol memiliki beberapa kemungkinan makna. Perangkat lunak mencari kata-kata dalam kamus yang cocok dengan seluruh urutan tombol dan menampilkan kata yang paling mungkin terlebih dahulu.

Tekan 4-6-6-3 dan urutan itu cocok dengan good, home dan gone. T9 tidak dapat mengetahui kata mana yang Anda maksud hanya dari tombolnya. T9 menawarkan kata yang paling sering digunakan terlebih dahulu dan memungkinkan Anda berganti ke kata lainnya. Tidak ada pemahaman bahasa di sini: sistem ini hanya mencari kata dalam kamus lalu mengurutkannya.

Generasi kedua: menghitung kata yang mengikuti kata lain

Deretan saran di atas papan ketik ponsel menambahkan gagasan kedua: memprediksi kata berikutnya sebelum Anda mengetik satu huruf pun. Cara klasik untuk melakukannya adalah model n-gram. Model ini menghitung, dari kumpulan teks yang besar, seberapa sering setiap kata mengikuti satu atau dua kata sebelumnya, lalu menyarankan kelanjutan yang paling sering muncul.

SwiftKey membangun papan ketik awalnya dengan teknologi n-gram. Saat merilis versi neural pada 2015, TechCrunch melaporkan penjelasan perusahaan tentang keterbatasan pendekatan lama: sistem itu tidak dapat memahami makna kata yang mendasarinya. Model n-gram mengetahui bahwa “see you” sering diikuti oleh “soon”. Model tersebut tidak tahu bahwa “soon” dan “shortly” memiliki arti yang hampir sama, dan hanya melihat beberapa kata ke belakang.

Generasi ketiga: jaringan neural yang mempelajari kemiripan

Model bahasa neural merepresentasikan kata sebagai titik-titik dalam ruang, dengan kata yang mirip terletak berdekatan. Dengan begitu, model dapat membuat tebakan yang masuk akal setelah kombinasi kata yang belum pernah dihitung sebelumnya. Neural Alpha dari SwiftKey, yang dirilis pada Oktober 2015, adalah papan ketik pertama mereka yang dibuat dengan cara ini.

Google menjelaskan langkah berikutnya untuk Gboard dalam makalah tahun 2018 berjudul “Federated Learning for Mobile Keyboard Prediction”. Model prediksi kata berikutnya menggunakan jaringan neural berulang yang dilatih di ponsel, bukan di server: perangkat meningkatkan model dengan data pengetikan lokal dan mengirimkan pembaruan model, bukan teks. Sebuah makalah sistem Google menyebutkan ukurannya sekitar 1,4 juta parameter, sangat kecil menurut standar saat ini. Pada 2023, Google melaporkan bahwa semua model neural prediksi kata berikutnya milik Gboard kini dilengkapi jaminan privasi diferensial.

Generasi keempat: transformer dan frasa utuh

Arsitektur transformer, yang diperkenalkan dalam makalah tahun 2017 berjudul “Attention Is All You Need”, memungkinkan model mempertimbangkan setiap kata sebelumnya dalam konteks, bukan hanya beberapa kata terakhir. Itulah yang membuat saran tingkat frasa menjadi praktis: model dapat mempertahankan topik dan nada seluruh kalimat dalam pertimbangannya.

Apple menerapkan teknologi ini pada pengetikan iPhone di iOS 17. Dalam pengumumannya pada 2023 Apple menjelaskan fitur koreksi otomatis yang menggunakan “model bahasa transformer, sebuah model bahasa pembelajaran mesin di perangkat yang canggih untuk prediksi kata”. Apple juga menambahkan prediksi sebaris yang melengkapi kata atau kalimat dengan satu ketukan pada bilah spasi.

Model bahasa besar bekerja dengan cara yang sama, tetapi dalam skala jauh lebih besar. Model memprediksi token berikutnya, yaitu kata atau bagian kata, menambahkannya, lalu memprediksi lagi. Saran frasa merupakan beberapa putaran proses itu, dihentikan lebih awal dan ditampilkan sebagai “ghost text” abu-abu yang bisa Anda terima atau abaikan. Panduan ghost text membahas tampilannya di Windows.

Apa yang terjadi antara penekanan tombol dan munculnya saran

Apa pun modelnya, prosesnya memiliki langkah yang sama:

1. Papan ketik atau aplikasi membaca konteks: sistem mengumpulkan teks sebelum kursor, dan terkadang mengetahui aplikasi yang sedang Anda gunakan.
2. Model memberi probabilitas pada kemungkinan kata atau frasa berikutnya.
3. Perangkat lunak menghapus tebakan dengan tingkat keyakinan rendah serta saran di tempat yang tidak semestinya, seperti kolom kata sandi.
4. Perangkat lunak menampilkan satu hingga tiga saran terbaik: ponsel menggunakan deretan kata, sedangkan alat frasa menampilkan ghost text sebaris.
5. Banyak sistem kemudian menyesuaikan diri dengan kata dan frasa yang Anda terima dan sering ketik.

Langkah penyaringan lebih penting daripada kelihatannya. Alat yang selalu menampilkan sesuatu akan membuat Anda terbiasa mengabaikannya. Alat yang tidak menampilkan apa pun saat ragu akan lebih diperhatikan ketika akhirnya memberikan saran.

Mengapa prediksi sering salah

Prediksi hanyalah probabilitas. Model dapat menebak bentuk balasan yang sopan. Namun, model tidak dapat mengetahui tanggal yang akan Anda janjikan atau nama orang yang Anda maksud. Kata-kata pertama dalam pesan baru paling sulit diprediksi karena hampir belum ada konteks. Saran akan membaik seiring bertambahnya panjang kalimat.

Yang membuat tebakan keliru tetap bisa ditoleransi adalah cara saran ditawarkan. Jika menerima saran hanya perlu satu tombol dan mengabaikannya tidak perlu tindakan apa pun, tebakan yang salah tidak merugikan: Anda tinggal terus mengetik.

Di mana teks prediktif berjalan di PC Windows

Windows memiliki saran teks tingkat kata untuk papan ketik fisik. Panduan penyiapan Microsoft menyebutkan bahwa kata diprediksi berdasarkan ejaan yang Anda ketik. Prediksi teks Word memberikan saran lebih lanjut berupa kata atau frasa. Microsoft mencantumkannya di antara pengalaman tersambung Office yang menganalisis konten Anda, dengan fungsi offline dasar hanya dalam beberapa skenario.

Typeahead menjalankan model bahasa ringkas di PC Anda sendiri dan menyarankan sisa kalimat di aplikasi Windows seperti Word, Outlook, Chrome, dan WhatsApp, termasuk saat Anda offline. Anda dapat menerimanya dengan tombol Tab atau panah kanan. Artikel tentang mengapa model kecil di perangkat sudah cukup menjelaskan mengapa tugas ini tidak memerlukan model sebesar model cloud.

Pertanyaan yang sering diajukan