अनुमानित टेक्स्ट कैसे काम करता है: T9 से डिवाइस पर चलने वाले मॉडल तक

प्रेडिक्टिव टेक्स्ट यह अनुमान लगाकर काम करता है कि आपने अब तक जो टाइप किया है, उसके बाद कौन-सा अक्षर, शब्द या वाक्यांश सबसे अधिक संभावित है, और फिर सबसे अच्छे अनुमान पेश करता है। यह अनुमान भाषा के एक मॉडल से आता है। शुरुआती फ़ोन में वह मॉडल आम शब्दों के अनुसार क्रमबद्ध शब्दकोश था। फिर यह इस बात के आँकड़ों पर आधारित हुआ कि किस शब्द के बाद कौन-सा शब्द आता है। आज यह आम तौर पर एक न्यूरल नेटवर्क होता है, जो पूरा वाक्य पढ़ता है और डिवाइस पर ही चलता है।

लेकिन Windows पर AI ऑटोकम्प्लीट की मार्गदर्शिका इसमें PC पर वाक्यांश सुझाव पाने का तरीका बताया गया है। यह लेख बताता है कि उनके पीछे की प्रक्रिया कैसे काम करती है—हर पीढ़ी के क्रम में।

पहली पीढ़ी: अस्पष्टता दूर करने वाला शब्दकोश

T9 ने हार्डवेयर की एक समस्या हल की। फ़ोन के कीपैड में बारह कुंजियाँ होती हैं और उनमें से ज़्यादातर पर तीन या चार अक्षर होते हैं। Tegic Communications ने 1995 में अपने “कम कुंजियों वाले कीबोर्ड की अस्पष्टता दूर करने वाले कंप्यूटर” का पेटेंट आवेदन दाख़िल किया और 1998 में उसे मंज़ूरी मिली। हर कुंजी दबाने पर कई अर्थ संभव होते हैं। सॉफ़्टवेयर देखता है कि पूरी कुंजी-श्रृंखला से कौन-से शब्दकोश के शब्द मेल खाते हैं और सबसे संभावित शब्द को पहले दिखाता है।

4-6-6-3 दबाएँ और यह क्रम इन शब्दों से मेल खाता है good, home और gone। केवल कुंजियों के आधार पर T9 नहीं बता सकता कि आपका मतलब इनमें से किससे है। यह सबसे आम शब्द पहले देता है और आपको बाकी विकल्पों में जाने देता है। यहाँ भाषा को समझने वाली कोई चीज़ नहीं है: यह क्रम-निर्धारण के साथ शब्दकोश खोज है।

दूसरी पीढ़ी: यह गिनना कि किस शब्द के बाद कौन-सा शब्द आता है

फ़ोन कीबोर्ड के ऊपर सुझाव-पट्टी ने एक दूसरा विचार जोड़ा: आपके कुछ भी टाइप करने से पहले अगले शब्द का अनुमान लगाना। इसका पारंपरिक तरीका n-gram मॉडल है। यह बड़े टेक्स्ट संग्रह में गिनता है कि हर शब्द से पहले आए एक या दो शब्दों के बाद कौन-सा शब्द कितनी बार आता है और सबसे आम अगली कड़ियाँ सुझाता है।

SwiftKey ने अपना शुरुआती कीबोर्ड n-gram तकनीक पर बनाया था। 2015 में जब उसने न्यूरल संस्करण जारी किया, TechCrunch ने रिपोर्ट किया कि कंपनी ने पुराने तरीके की सीमा का अपना विवरण दिया था: वह शब्दों के अंतर्निहित अर्थ को समझ नहीं सकता था। n-gram मॉडल जानता है कि “see you” के बाद अक्सर “soon” आता है। उसे कोई अंदाज़ा नहीं होता कि “soon” और “shortly” का अर्थ लगभग एक जैसा है, और वह पीछे के केवल कुछ शब्द ही देखता है।

तीसरी पीढ़ी: समानता सीखने वाले न्यूरल नेटवर्क

न्यूरल भाषा मॉडल शब्दों को एक ऐसे स्थान में बिंदुओं के रूप में दर्शाता है जहाँ समान अर्थ वाले शब्द एक-दूसरे के पास होते हैं। इस वजह से वह ऐसे शब्द-संयोजन के बाद भी समझदारी भरा अनुमान लगा सकता है जिसे उसने पहले कभी गिना नहीं। अक्टूबर 2015 में जारी SwiftKey का Neural Alpha इस तरह बनाया गया उसका पहला कीबोर्ड था।

Google ने 2018 के एक शोध-पत्र में Gboard के लिए अगला कदम बताया, “मोबाइल कीबोर्ड प्रेडिक्शन के लिए फ़ेडरेटेड लर्निंग”। उसका अगला-शब्द मॉडल एक ऐसा रिकरेंट न्यूरल नेटवर्क था जिसे सर्वर के बजाय फ़ोन पर प्रशिक्षित किया गया था: डिवाइस स्थानीय टाइपिंग डेटा से मॉडल को बेहतर बनाते और टेक्स्ट नहीं, बल्कि मॉडल के अपडेट वापस भेजते थे। एक Google सिस्टम शोध-पत्र में इसका आकार लगभग 1.4 मिलियन पैरामीटर बताया गया है, जो आज के मानकों से बहुत छोटा है। 2023 में Google ने बताया कि Gboard के सभी न्यूरल अगला-शब्द प्रेडिक्शन मॉडल अब डिफ़रेंशियल प्राइवेसी की गारंटी देते हैं।

चौथी पीढ़ी: ट्रांसफ़ॉर्मर और पूरे वाक्यांश

2017 के शोध-पत्र में प्रस्तुत ट्रांसफ़ॉर्मर आर्किटेक्चर “आपको सिर्फ़ ध्यान चाहिए”मॉडल को संदर्भ के हर पहले के शब्द को महत्व देने देता है, न कि सिर्फ़ पिछले कुछ शब्दों को। इसी वजह से वाक्यांश-स्तर के सुझाव व्यावहारिक बनते हैं: मॉडल पूरे वाक्य के विषय और लहजे को ध्यान में रख सकता है।

Apple ने iOS 17 में iPhone टाइपिंग को इस पर स्थानांतरित किया। उसकी 2023 की घोषणा में ऑटोकरेक्ट को “ट्रांसफ़ॉर्मर भाषा मॉडल पर आधारित, शब्द प्रेडिक्शन के लिए अत्याधुनिक ऑन-डिवाइस मशीन लर्निंग भाषा मॉडल” बताया गया। इसमें इनलाइन प्रेडिक्शन भी जोड़े गए, जो स्पेस बार दबाने पर शब्द या वाक्य पूरे करते हैं।

बड़े भाषा मॉडल इसी तरह काम करते हैं, लेकिन कहीं बड़े पैमाने पर। वे अगले टोकन—यानी किसी शब्द या शब्द के हिस्से—का अनुमान लगाते हैं, उसे जोड़ते हैं और फिर से अगला अनुमान लगाते हैं। वाक्यांश का सुझाव इस प्रक्रिया के कुछ चरणों का नतीजा होता है, जिसे जल्दी रोककर धूसर “घोस्ट टेक्स्ट” के रूप में दिखाया जाता है; आप उसे स्वीकार कर सकते हैं या अनदेखा कर सकते हैं। घोस्ट टेक्स्ट की मार्गदर्शिका बताती है कि Windows पर यह कैसा दिखता है।

एक कीस्ट्रोक और सुझाव के बीच क्या होता है

मॉडल कोई भी हो, प्रक्रिया के चरण एक जैसे हैं:

1. कीबोर्ड या ऐप संदर्भ पढ़ता है: वह कर्सर से पहले का टेक्स्ट और कभी-कभी यह भी देखता है कि आप किस ऐप में हैं।
2. मॉडल संभावित अगले शब्दों या वाक्यांशों को संभाव्यता देता है।
3. सॉफ़्टवेयर कम भरोसे वाले अनुमानों और ऐसी जगहों पर दिए जाने वाले सुझावों को हटा देता है जहाँ वे नहीं होने चाहिए, जैसे पासवर्ड फ़ील्ड।
4. यह सबसे अच्छे एक से तीन सुझाव दिखाता है: फ़ोन शब्दों की पट्टी का इस्तेमाल करते हैं, जबकि वाक्यांश टूल इनलाइन घोस्ट टेक्स्ट दिखाते हैं।
5. इसके बाद कई सिस्टम उन शब्दों और वाक्यांशों के अनुसार ढलते हैं जिन्हें आप स्वीकार करके अक्सर टाइप करते हैं।

फ़िल्टर करने का चरण जितना दिखता है, उससे ज़्यादा मायने रखता है। जो टूल हमेशा कुछ-न-कुछ दिखाता है, वह आपको उसे अनदेखा करना सिखाता है। जो टूल अनिश्चित होने पर चुप रहता है, उसकी बात बोलने पर सुनी जाती है।

अनुमान अक्सर गलत क्यों होते हैं

अनुमान केवल एक संभाव्यता है। मॉडल विनम्र जवाब का ढाँचा भाँप सकता है। लेकिन वह यह नहीं जान सकता कि आप किस तारीख़ का वादा करने वाले हैं या किस व्यक्ति का नाम लेना चाहते हैं। नए संदेश के शुरुआती शब्दों का अनुमान लगाना सबसे कठिन होता है, क्योंकि उस समय संदर्भ लगभग नहीं होता। वाक्य आगे बढ़ने के साथ सुझाव बेहतर होते जाते हैं।

गलत अनुमानों को सहने योग्य बनाने वाली बात सुझाव देने का तरीका है। अगर स्वीकार करने के लिए एक कुंजी दबानी हो और अनदेखा करने के लिए कुछ भी न करना पड़े, तो गलत अनुमान की कोई कीमत नहीं: आप बस टाइप करते रहते हैं।

Windows PC पर प्रेडिक्टिव टेक्स्ट कहाँ चलता है

Windows में भौतिक कीबोर्ड के लिए शब्द-स्तर के टेक्स्ट सुझाव हैं। Microsoft की सेटअप मार्गदर्शिका के अनुसार, टाइप करते समय आपकी वर्तनी के आधार पर शब्दों का अनुमान लगाया जाता है। Word के टेक्स्ट प्रेडिक्शन इससे आगे जाकर शब्द या वाक्यांश सुझाते हैं। Microsoft इन्हें Office की कनेक्टेड सुविधाओं में शामिल करता है, जो आपकी सामग्री का विश्लेषण करती हैंमें शामिल करता है; कुछ परिस्थितियों में ही बुनियादी ऑफ़लाइन कार्यक्षमता उपलब्ध होती है।

Typeahead आपके अपने PC पर एक छोटा भाषा मॉडल चलाता है और Word, Outlook, Chrome तथा WhatsApp जैसे Windows ऐप में वाक्य का बाकी हिस्सा सुझाता है—ऑफ़लाइन होने पर भी। सुझाव स्वीकार करने के लिए Tab या दायाँ ऐरो दबाएँ। इस काम के लिए क्लाउड-जितने बड़े मॉडल की ज़रूरत क्यों नहीं है, यह लेख छोटा ऑन-डिवाइस मॉडल क्यों पर्याप्त है बताता है।

अक्सर पूछे जाने वाले सवाल