“यह आपके कंप्यूटर पर भाषा मॉडल चलाता है”—यह सुनकर लोगों को पंखा तेज़ चलने और कुछ न करते हुए भी लैपटॉप गर्म होने की कल्पना होती है। ऐसा सोचना जायज़ है, क्योंकि यह बताता है कि चैट मॉडल को गलत तरीके से चलाने पर क्या होता है।
टाइपिंग सुझावों का काम अलग है। यहाँ बताया गया है कि वे वास्तव में कितने संसाधन लेते हैं, ताकि आप अपने कंप्यूटर के अनुसार सही आकार चुन सकें।
चार तरह की लागत, और उनमें से केवल एक लगातार रहती है
डिस्क। मॉडल फ़ाइल, एक बार। डाउनलोड के समय कुछ सौ मेगाबाइट से लेकर कुछ गीगाबाइट तक की जगह।
मेमोरी। मॉडल लोड रहने के दौरान उसके वेट्स मेमोरी में बने रहने चाहिए: मोटे तौर पर फ़ाइल के आकार जितनी, साथ में थोड़ी अतिरिक्त कार्यशील मेमोरी। यह लगातार होने वाली लागत है और यही तय करती है कि मॉडल का कौन-सा आकार आपके कंप्यूटर पर चलेगा। 16 GB वाले लैपटॉप पर मॉडल के लिए 1 GB मेमोरी में रहना कोई बड़ी बात नहीं। ब्राउज़र खुला होने पर 8 GB वाले लैपटॉप पर 3 GB बहुत ज़्यादा है।
कम्प्यूट। सिर्फ़ सुझाव बनाते समय। वाक्य पूरा करने के लिए यह कुछ सौ मिलीसेकंड का एक छोटा दौर होता है, जो एक मिनट में कुछ ही बार आता है और आपके कीस्ट्रोक के बीच के ठहरावों में पूरा हो जाता है। इसकी तुलना उस चैट सहायक से करें जो छह सौ शब्द बनाते समय कई सेकंड तक प्रोसेसर को पूरी क्षमता पर चलाता है।
बैटरी। बैटरी की खपत कम्प्यूट के साथ चलती है। छोटे दौर में कम खपत होती है; ईमानदार बात यह है कि जो कंप्यूटर गहरी ऊर्जा-बचत अवस्था में कभी नहीं जाता, वह ऐसा करने वाले कंप्यूटर से ज़्यादा ऊर्जा खर्च करता है, इसलिए असर बिल्कुल शून्य नहीं होता।
याद रखने वाली बात: टाइपिंग प्रेडिक्शन लगभग हर समय निष्क्रिय रहता है। लगातार मेमोरी में बने रहने की लागत ही असली लागत है; बाकी सब नगण्य है, जब तक कि मॉडल आपके कंप्यूटर के लिए बहुत बड़ा न हो।
फ़ाइल आपकी अपेक्षा से छोटी क्यों होती है
कुछ सौ मेगाबाइट का बताया गया मॉडल कुछ सौ मिलियन पैरामीटर वाला मॉडल नहीं होता। मॉडल क्वांटाइज़ करके वितरित किए जाते हैं, यानी उनके वेट्स कम प्रिसिजन में रखे जाते हैं—आम तौर पर सोलह के बजाय चार या पाँच बिट में। इससे आकार और मेमोरी लगभग चार गुना घटते हैं, जबकि गुणवत्ता में मामूली लेकिन मापी जा सकने वाली कमी आती है।
खुले अंत वाले तर्क-विचार के लिए यह कमी मायने रखती है। लेकिन किसी ऐसे वाक्य को पूरा करने के लिए जिसे आपने पहले ही शुरू कर दिया है, आम तौर पर यह मायने नहीं रखती, क्योंकि सीमाएँ मॉडल की गहराई से नहीं, बल्कि आपके अपने टेक्स्ट से तय होती हैं। यही तकनीकी कारण है कि इस काम के लिए छोटा स्थानीय मॉडल उपयोगी है, लेकिन दूसरे कामों के लिए नहीं।
असल सीमा गुणवत्ता नहीं, बल्कि विलंबता है
एक सख्त समय-सीमा होती है। आपने जो शब्द खुद टाइप कर लिए हों, उनके बाद आने वाला सुझाव न मिलने से भी बदतर है: वह ठीक तभी दिखता है जब आप लिखना खत्म करते हैं, और आप उसे बेकार में पढ़ते हैं।
आपके पास कितनी भी मेमोरी हो, यह समय-सीमा मॉडल का आकार सीमित कर देती है। एक बिंदु के बाद बेहतर मॉडल धीमा मॉडल होता है, और धीमा होने का मतलब है कि उसका इस्तेमाल नहीं होगा। व्यावहारिक लक्ष्य ऐसा सुझाव है जो आपकी उँगलियों के शब्दों के बीच के विराम में ही आ जाए—यानी कुछ सौ मिलीसेकंड के भीतर, डेढ़ सेकंड में नहीं।
यह आम धारणा को उलट देता है। यहाँ देर से आने लगे तो उसके बाद बड़ा मॉडल बेहतर नहीं होता। सही आकार वह सबसे बड़ा मॉडल है जो आपके हार्डवेयर पर उस विराम के भीतर जवाब दे सके। 2019 के अल्ट्राबुक और अलग ग्राफ़िक्स कार्ड वाले डेस्कटॉप के लिए इसका जवाब अलग होगा।
आकार चुनना
Typeahead तीन मॉडल उपलब्ध कराता है, जो सीधे तौर पर इस समझौते के अलग-अलग विकल्प हैं।
| आकार | डिस्क पर | बताई गई आवश्यकता | किसके लिए है |
|---|---|---|---|
| तेज़ (डिफ़ॉल्ट) | ~600 MB | — | किसी भी समर्थित मशीन के लिए, और शुरुआत करने का सही विकल्प |
| संतुलित | ~1.2 GB | 8 GB सिस्टम मेमोरी | पर्याप्त क्षमता वाली मशीनें: बेहतर सुझाव, फिर भी आराम से तेज़ |
| अधिकतम गुणवत्ता | ~2.5 GB | 8 GB अपनी मेमोरी वाला अलग ग्राफ़िक्स कार्ड, 16 GB सिस्टम मेमोरी | असली GPU वाले डेस्कटॉप और वर्कस्टेशन |
इस तालिका के बारे में दो बातें।
भले ही आपकी मशीन इससे बड़ा मॉडल चला सकती हो, शुरुआत तेज़ मॉडल से करें। इसे एक हफ़्ते तक इस्तेमाल करें। अगर सुझाव उपयोगी रूप से सटीक हैं, तो बड़ा मॉडल लेने से चैट संदेश टाइप करते समय ऐसा कोई फ़ायदा नहीं मिलेगा जिसे आप महसूस कर सकें। अगर सुझाव साफ़ तौर पर गलत हैं, तो बड़ा मॉडल चुनें—और अब आपको पता होगा कि विलंबता के बदले आपको क्या मिल रहा है।
अधिकतम स्तर के लिए अपनी 8 GB मेमोरी वाला अलग ग्राफ़िक्स कार्ड चाहिए, न कि 8 GB साझा सिस्टम मेमोरी। लैपटॉप के एकीकृत ग्राफ़िक्स इस आवश्यकता को पूरा नहीं करते, और ऐसे हार्डवेयर पर मॉडल चलाने की ज़िद करना जिसे उसे पेजिंग करनी पड़े, ठीक वही तरीका है जिससे पंखा तेज़ घूमने लगता है—जिस अनुभव से यह लेख शुरू हुआ था।
वास्तव में बहुत सीमित क्षमता वाली मशीनें
- ब्राउज़र, Teams और Office खुले हों तो 8 GB RAM। कुछ और लोड होने से पहले ही आप सीमा के करीब होते हैं। सबसे छोटा मॉडल इस्तेमाल करें और उम्मीद रखें कि 16 GB वाले व्यक्ति की तुलना में आपको इसका असर ज़्यादा महसूस होगा। अगर सामान्य दिन में ही आपकी मशीन स्वैपिंग करती है, तो लगातार मेमोरी में रहने वाला मॉडल स्थिति और खराब करेगा।
- AVX2 के बिना पुराने प्रोसेसर। इन्फ़रेंस लाइब्रेरी वेक्टर निर्देशों का भरपूर इस्तेमाल करती हैं। 2013 से पहले का प्रोसेसर बताए गए किसी भी आँकड़े से धीमा होगा, और ऊपर बताई गई विलंबता की सीमा ही यहाँ सबसे बड़ी अड़चन बनेगी।
- तापमान के कारण सीमित होने वाले पतले लैपटॉप। यह काम इतने कम समय के लिए चलता है कि केवल इसके कारण लगातार थ्रॉटलिंग होने की संभावना कम है। लेकिन अगर मशीन पहले से ही दूसरे काम के बोझ में थ्रॉटल हो रही है, तो उसके पास अतिरिक्त क्षमता नहीं है।
- बैटरी पर, बिजली से दूर। सुझाव फिर भी काम करते हैं, क्योंकि वे स्थानीय रूप से बनते हैं और किसी कनेक्शन की ज़रूरत नहीं होती। अगर आप लंबी उड़ान के लिए अनुकूलन कर रहे हैं, तो छोटा मॉडल इस्तेमाल करना बेहतर है।
अपनी मशीन पर इसकी जाँच कैसे करें
किसी और के लैपटॉप पर मापे गए आँकड़े आपको बहुत कम बताते हैं। दो माप, दस मिनट।
- 1. कुछ भी इंस्टॉल करने से पहले, Task Manager → Performance खोलें और सामान्य कामकाजी सेटअप में इस्तेमाल हो रही मेमोरी नोट करें: आपके सामान्य ब्राउज़र टैब, मेल और चैट।
- 2. इंस्टॉल करने और मॉडल लोड करने के बाद, वही आँकड़ा देखें और Processes टैब में ऐप की अपनी मेमोरी भी देखें।
अगर इस अंतर के बाद भी कुल मेमोरी में पर्याप्त जगह बचती है, तो सब ठीक है। अगर आप सीमा पर पहुँच जाते हैं, तो एक आकार छोटा मॉडल चुनें।
विलंबता का अनुभव हर व्यक्ति के लिए अलग होता है, और यही बेहतर है: ऐसा वाक्य टाइप करें जिसे आप आम तौर पर लिखते हैं और देखें कि उँगलियाँ रुकने पर सुझाव मौजूद होता है या बाद में आता है। इसका जवाब पाने का सही तरीका परीक्षण अवधि है—Typeahead की अवधि सात दिन है, और इसमें सभी मॉडल आकार अनलॉक रहते हैं।
इसकी कीमत में आपको क्या मिलता है
- आप जो भी टाइप करते हैं, वह मशीन से बाहर नहीं जाता। यह इस बारे में कोई नीति नहीं है कि सर्वर आपके टेक्स्ट को कैसे संभालता है, बल्कि यह इस बात का गुण है कि उसे प्रोसेस कहाँ किया जाता है।
- यह बिना कनेक्शन के काम करता है। हवाई जहाज़ में, ट्रेन में, या ऐसे होटल के Wi-Fi पर भी जहाँ DNS का समाधान होना बंद हो गया हो।
- हर सीट के लिए सदस्यता और खाता नहीं, क्योंकि भुगतान करने के लिए कोई सर्वर है ही नहीं।
- विलंबता में कोई उतार-चढ़ाव नहीं। स्थानीय मॉडल सुबह 9 बजे और शाम 5 बजे एक ही गति से चलता है, जबकि साझा सेवा में ऐसा नहीं होता।
क्या इसके लिए एक गीगाबाइट मेमोरी लगातार इस्तेमाल होना उचित है, यह एक वास्तविक सवाल है जिसका जवाब हर व्यक्ति के लिए अलग है। सवाल जितना लगता है उससे छोटा है, और एक हफ़्ते में इसका जवाब मिल सकता है।