Tahmine Dayalı Metin Nasıl Çalışır: T9'dan Cihaz Üzerindeki Modellere

Tahmine dayalı metin, şimdiye kadar yazdıklarınızı göz önüne alarak sırada gelmesi en olası harf, kelime veya ifadeyi tahmin edip en iyi seçenekleri sunarak çalışır. Bu tahmin, bir dil modelinden gelir. İlk telefonlarda bu model, kelimelerin ne kadar yaygın olduklarına göre sıralandığı bir sözlüktü. Daha sonra, hangi kelimenin hangisini izlediğine ilişkin istatistiklere dönüştü. Günümüzde ise genellikle tüm cümleyi okuyan ve doğrudan cihazda çalışan bir sinir ağıdır.

Ama cümlelerinizin Windows’de yapay zekâ destekli otomatik tamamlama rehberi bilgisayarda ifade önerilerinin nasıl alınacağını anlatıyor. Bu yazıysa bunların arkasındaki mekanizmayı, her nesli ayrı ayrı ele alarak açıklıyor.

Birinci nesil: belirsizliği gideren sözlük

T9, bir donanım sorununu çözdü. Telefon tuş takımında on iki tuş vardır ve bunların çoğunda üç veya dört harf bulunur. Tegic Communications, 1995’te bir “azaltılmış tuş takımı belirsizliğini gideren bilgisayar” için patent başvurusu yaptı; patent 1998’de verildi. Her tuş basışı birden fazla anlama gelebilir. Yazılım, tüm tuş dizisiyle eşleşen sözlük kelimelerini arar ve en olası olanı ilk sırada gösterir.

4-6-6-3 tuşlarına basın; bu dizi good, home ve gonekelimelerine karşılık gelebilir. T9, yalnızca tuşlara bakarak hangisini kastettiğinizi anlayamaz. En sık kullanılan kelimeyi önce önerir ve diğerleri arasında geçiş yapmanıza izin verir. Burada dili anlayan hiçbir şey yoktur: bu, sıralama uygulanan bir sözlük aramasıdır.

İkinci nesil: hangi kelimenin hangisini izlediğini saymak

Telefon klavyesinin üzerindeki öneri şeridi ikinci bir fikir getirdi: daha yazmaya başlamadan sıradaki kelimeyi tahmin etmek. Bunun klasik yöntemi n-gram modelidir. Geniş bir metin külliyatında her kelimenin kendisinden önce gelen bir ya da iki kelimeden sonra ne sıklıkla geldiğini sayar ve en sık görülen devamları önerir.

SwiftKey ilk klavyesini n-gram teknolojisi üzerine kurdu. Şirket, 2015’te sinir ağı tabanlı bir sürüm yayımladığında, TechCrunch şirketin eski yaklaşımın sınırlarına ilişkin kendi açıklamasını aktardı: yaklaşım, kelimelerin altında yatan anlamı anlayamıyordu. Bir n-gram modeli “see you” ifadesinden sonra sıklıkla “soon” geldiğini bilir. “Soon” ile “shortly” kelimelerinin neredeyse aynı anlama geldiği hakkında hiçbir fikri yoktur ve yalnızca birkaç kelime geriye bakar.

Üçüncü nesil: benzerlikleri öğrenen sinir ağları

Bir sinir ağı dil modeli, kelimeleri benzer kelimelerin birbirine yakın durduğu bir uzaydaki noktalar olarak temsil eder. Böylece, daha önce hiç saymadığı bir kelime birleşiminden sonra da makul bir tahminde bulunabilir. Ekim 2015’te yayımlanan SwiftKey Neural Alpha, bu şekilde geliştirilmiş ilk klavyeydi.

Google, 2018 tarihli bir makalesinde Gboard için bir sonraki adımı açıkladı: “Mobil Klavye Tahmini için Birleşik Öğrenme”. Sıradaki kelime modeli, sunucuda değil telefonlarda eğitilen, tekrarlayan bir sinir ağıydı: cihazlar yerel yazma verileriyle modeli geliştiriyor, metni değil model güncellemelerini geri gönderiyordu. Bir Google sistemleri makalesi modelin boyutunu, günümüz standartlarına göre çok küçük olan yaklaşık 1,4 milyon parametre olarak veriyor. Google, 2023’te Gboard’un sıradaki kelime tahminine yönelik tüm sinir ağı modellerinin artık diferansiyel gizlilik güvenceleri sunduğunu bildirdi.

Dördüncü nesil: dönüştürücüler ve bütün ifadeler

2017 tarihli “İhtiyacınız Olan Tek Şey Dikkat”Bir modelin bağlamdaki kendisinden önce gelen tüm kelimeleri, yalnızca son birkaç kelimeyi değil, tartmasına olanak tanır. İfade düzeyindeki önerileri uygulanabilir hâle getiren de budur: model, tüm cümlenin öznesini ve tonunu göz önünde bulundurabilir.

Apple, iOS 17’de iPhone yazımını bu mimariye taşıdı. Şirketin 2023 duyurusu otomatik düzeltmeyi “dönüştürücü dil modeline, kelime tahmini için son teknoloji ürünü bir cihaz içi makine öğrenimi dil modeline” dayalı olarak tanımladı. Ayrıca boşluk çubuğuna dokunarak kelimeleri veya cümleleri tamamlayan satır içi tahminler de ekledi.

Büyük dil modelleri de aynı şekilde çalışır, ancak çok daha büyük ölçekte. Bir sonraki token’ı, yani bir kelimeyi veya kelimenin bir bölümünü tahmin eder, ekler ve yeniden tahmin ederler. Bir ifade önerisi, bu döngünün birkaç turudur; döngü erken durdurulur ve kabul edebileceğiniz ya da yok sayabileceğiniz gri “hayalet metin” olarak gösterilir. Şu... hayalet metin rehberi ...bunun Windows üzerinde nasıl göründüğünü ele alır.

Bir tuşa basılmasıyla öneri gösterilmesi arasında ne olur?

Model ne olursa olsun, süreç aynı adımlardan oluşur:

1. Klavye veya uygulama bağlamı okur: imlecin önündeki metni ve bazen de hangi uygulamada olduğunuzu alır.
2. Model, gelebilecek olası kelime veya ifadelere bir olasılık değeri atar.
3. Yazılım, güven düzeyi düşük tahminleri ve parola alanları gibi, önerilerin gösterilmemesi gereken yerlerdeki önerileri eler.
4. En iyi bir ila üç öneriyi gösterir: telefonlar kelimelerden oluşan bir şerit, ifade araçları ise satır içi hayalet metin gösterir.
5. Pek çok sistem daha sonra kabul ettiğiniz ve sık yazdığınız kelime ve ifadelere göre kendini uyarlar.

Filtreleme adımı göründüğünden daha önemlidir. Her zaman bir şey gösteren bir araç, sizi önerileri yok saymaya alıştırır. Emin olmadığında sessiz kalan bir aracın önerisi ise gösterdiğinde dikkatinizi çeker.

Tahminler neden sık sık yanlış çıkar?

Bir tahmin yalnızca bir olasılıktan ibarettir. Model, kibar bir yanıtın nasıl şekilleneceğini tahmin edebilir. Vermek üzere olduğunuz tarihi veya kastettiğiniz kişinin adını bilemez. Yeni bir mesajın ilk kelimelerini tahmin etmek en zordur; çünkü henüz neredeyse hiç bağlam yoktur. Cümle uzadıkça öneriler iyileşir.

Yanlış tahminleri katlanılabilir kılan, önerilerin sunulma biçimidir. Kabul etmek için tek bir tuşa basmak yeterliyse ve yok saymanın hiçbir bedeli yoksa yanlış tahmin hiçbir maliyete yol açmaz: yazmaya devam edersiniz.

Tahmine dayalı metin, Windows bilgisayarda nerede çalışır?

Windows, fiziksel klavye için kelime düzeyinde metin önerileri sunar. Microsoft’un kurulum kılavuzunda kelimelerin siz yazarken yazımınıza bakılarak tahmin edildiği belirtiliyor. Word’ün metin tahminleri daha ileri gider ve kelime veya ifade önerileri sunar. Microsoft, bunları İçeriğinizi analiz eden Office bağlantılı deneyimleriarasında sayıyor; temel çevrimdışı işlevsellik ise yalnızca bazı senaryolarda mevcut.

Typeahead, kendi bilgisayarınızda kompakt bir dil modeli çalıştırır ve çevrimdışıyken bile Word, Outlook, Chrome ve WhatsApp gibi Windows uygulamalarında cümlenin geri kalanını önerir. Öneriyi kabul etmek için Tab’a veya sağ ok tuşuna basın. Bu görevin bulut ölçeğinde bir modele neden ihtiyaç duymadığını anlatan yazı küçük bir cihaz içi modelin neden yeterli olduğunu bu görevin neden bulut ölçeğinde bir modele ihtiyaç duymadığını açıklar.

Sık sorulan sorular