إن عبارة «يشغّل نموذجًا لغويًا على جهازك» تجعل الناس يتخيلون مروحة تبدأ بالدوران وحاسوبًا محمولًا يسخن بلا سبب. وهذا تخيل معقول، لأنه يصف ما يحدث عند تشغيل نموذج محادثة بطريقة سيئة.
اقتراحات الكتابة مهمة مختلفة. إليك تكلفتها الفعلية، لتتمكن من اختيار ما يناسب جهازك.
أربعة أنواع من التكلفة، وواحد منها فقط مستمر
القرص. ملف النموذج، لمرة واحدة. بضعة مئات من الميغابايتات إلى بضعة غيغابايتات، تُستهلك عند التنزيل.
الذاكرة. يجب أن تظل أوزان النموذج محمّلة في الذاكرة أثناء تحميله: ما يقارب حجم الملف، بالإضافة إلى مساحة إضافية صغيرة للتشغيل. هذه هي التكلفة المستمرة، وهي التي تحدد ما إذا كان الحجم يناسب جهازك. على حاسوب محمول بذاكرة 16 GB، لا يمثل وجود غيغابايت واحد من النموذج في الذاكرة أمرًا يُذكر. أما على حاسوب محمول بذاكرة 8 GB ومتصفح مفتوح، فثلاثة غيغابايتات أمر مهم.
المعالجة. فقط أثناء إنشاء اقتراح. بالنسبة إلى إكمال الجمل، تستغرق العملية دفعة من بضع مئات من المللي ثانية، بضع مرات في الدقيقة، وتفصل بين هذه الدفعات فترات التوقف بين ضغطات المفاتيح. قارن ذلك بمساعد محادثة يُنشئ ستمئة كلمة، فيشغّل المعالج بأقصى طاقته لعدة ثوانٍ.
البطارية. يتبع استهلاكها استهلاك المعالجة. تتطلب الدفعات القصيرة طاقة قليلة؛ لكن من الإنصاف الإشارة إلى أن الجهاز الذي لا يدخل أبدًا في حالات الطاقة العميقة يستهلك أكثر من جهاز يفعل ذلك، لذا فالتأثير ليس معدومًا تمامًا.
الرقم الذي ينبغي تذكره: يكون التنبؤ أثناء الكتابة في وضع الخمول معظم الوقت. الذاكرة المحجوزة هي التكلفة الحقيقية، وما عداها لا يُذكر ما لم يكن النموذج أكبر بكثير مما يناسب الجهاز.
لماذا يكون حجم الملف أصغر مما تتوقع
النموذج الذي يُعلن أن حجمه بضع مئات من الميغابايتات لا يحتوي على بضع مئات من ملايين المعاملات. تُوزّع النماذج بعد تكميمها، وتُخزّن الأوزان بدقة أقل — عادةً أربعة أو خمسة بتات بدلًا من ستة عشر. يؤدي ذلك إلى تقليل الحجم والذاكرة إلى نحو الربع، مع خسارة متواضعة وقابلة للقياس في الجودة.
تؤثر هذه الخسارة في الاستدلال المفتوح. لكنها لا تؤثر كثيرًا في إكمال جملة بدأت كتابتها بالفعل، لأن القيود تأتي من نصك أنت، لا من عمق النموذج. وهذا هو السبب التقني الذي يجعل النموذج المحلي الصغير مناسبًا لهذه المهمة، لا لمهام أخرى.
الحد الحقيقي هو زمن الاستجابة، لا الجودة
هناك مهلة زمنية صارمة. فالاقتراح الذي يصل بعد أن تكون قد كتبت الكلمات بنفسك أسوأ من عدم وجود اقتراح: إذ يظهر فور انتهائك، فتقرأه بلا فائدة.
تضع هذه المهلة حدًا لحجم النموذج بصرف النظر عن مقدار الذاكرة المتوفرة لديك. بعد نقطة معينة، يصبح النموذج الأفضل أبطأ، والاقتراح الأبطأ يعني أنه لن يُستخدم. والهدف العملي هو ظهور الاقتراح بينما لا تزال أصابعك في الفاصل بين كلمتين — في غضون بضع مئات من المللي ثانية، لا ثانية ونصف.
وهذا يعكس الحدس المعتاد. فالأكبر ليس أفضل هنا بعد بلوغ النقطة التي يتأخر عندها الاقتراح. الحجم المناسب هو أكبر نموذج لا يزال يجيب خلال الفاصل على جهازك، وهذا يختلف بين حاسوب محمول فائق النحافة من عام 2019 وحاسوب مكتبي مزوّد ببطاقة رسومات منفصلة.
اختيار الحجم
Typeahead يوفّر ثلاثة أحجام تتوافق مباشرة مع هذه المفاضلة.
| الحجم | على القرص | المتطلبات المذكورة | مناسب لمن |
|---|---|---|---|
| سريع (افتراضي) | نحو 600 MB | — | أي جهاز مدعوم، وهو الخيار المناسب للبدء |
| متوازن | نحو 1.2 GB | ذاكرة نظام بسعة 8 GB | الأجهزة ذات الموارد الفائضة: اقتراحات أفضل مع سرعة مريحة |
| أقصى جودة | نحو 2.5 GB | بطاقة رسومات منفصلة بذاكرة خاصة سعتها 8 GB، وذاكرة نظام بسعة 16 GB | أجهزة الكمبيوتر المكتبية ومحطات العمل المزودة بوحدة معالجة رسومات فعلية |
هناك أمران ينبغي معرفتهما عن هذا الجدول.
ابدأ بالخيار السريع، حتى لو كان جهازك قادرًا على تشغيل خيار أكبر. استخدمه لمدة أسبوع. إذا كانت الاقتراحات دقيقة بما يكفي لتفيدك، فلن يمنحك النموذج الأكبر شيئًا ستلاحظه أثناء كتابة رسالة محادثة. وإذا كانت الاقتراحات غير دقيقة بوضوح، فانتقل إلى حجم أكبر — وعندها ستعرف ما الذي تقايضه بزمن الاستجابة.
يتطلب المستوى الأقصى بطاقة منفصلة بذاكرة خاصة سعتها 8 GB، لا 8 GB من ذاكرة النظام المشتركة. لا تفي الرسومات المدمجة في الحواسيب المحمولة بهذا الشرط، كما أن إجبار النموذج على العمل على جهاز يضطر إلى استخدام الذاكرة الافتراضية هو بالضبط ما يؤدي إلى دوران المروحة، كما ذُكر في بداية هذه المقالة.
الأجهزة التي تعاني فعلًا من ضيق الموارد
- ذاكرة RAM بسعة 8 GB، مع فتح متصفح وTeams وOffice. أنت بالفعل قريب من الحد الأقصى قبل تحميل أي شيء آخر. استخدم أصغر نموذج، وتوقع أن تلاحظ تأثيره أكثر ممن لديهم ذاكرة بسعة 16 GB. وإذا كان جهازك يستخدم الذاكرة الافتراضية أصلًا خلال يوم عمل عادي، فسيزيد النموذج المحمّل في الذاكرة الأمر سوءًا.
- المعالجات الأقدم التي لا تدعم AVX2. تعتمد مكتبات الاستدلال على تعليمات المتجهات. سيكون المعالج الصادر قبل عام 2013 أبطأ من أي رقم معلن، وستكون مهلة الاستجابة المذكورة أعلاه هي المشكلة.
- الحواسيب المحمولة الرفيعة المحدودة حراريًا. دفعات المعالجة قصيرة بما يكفي لعدم ترجيح خفض الأداء المستمر بسبب هذه المهمة وحدها، لكن الجهاز الذي يخفض أداءه أصلًا بسبب أحمال أخرى لا يملك موارد فائضة.
- العمل على البطارية، بعيدًا عن مصدر الطاقة. تظل الاقتراحات تعمل لأنها محلية ولا تحتاج إلى اتصال. وإذا كنت تريد إطالة مدة الرحلة، فالأفضل استخدام النموذج الأصغر.
كيفية التحقق من الأداء على جهازك
لا تخبرك الأرقام المقيسة على حاسوب محمول لشخص آخر بالكثير. أجرِ قياسين في عشر دقائق.
- 1. قبل تثبيت أي شيء، افتح «إدارة المهام» ← «الأداء»، وسجّل مقدار الذاكرة المستخدمة أثناء إعداد العمل المعتاد: علامات تبويب المتصفح المعتادة والبريد والمحادثات.
- 2. بعد التثبيت وتحميل نموذج، انظر إلى الرقم نفسه، وإلى مقدار الذاكرة الذي يستخدمه التطبيق نفسه في علامة تبويب «العمليات».
إذا ظل استخدام الذاكرة بعد طرح الفرق أقل من الإجمالي بمقدار مريح، فكل شيء على ما يرام. أما إذا اقترب من الحد الأقصى، فانتقل إلى حجم أصغر.
زمن الاستجابة أمر شخصي، وهذا أفضل: اكتب جملة تكتبها عادة، ولاحظ ما إذا كان الاقتراح يظهر عند توقف أصابعك، أم يصل بعد ذلك. والفترة التجريبية هي الطريقة المناسبة لمعرفة الإجابة — مدة تجربة Typeahead سبعة أيام، وتشمل جميع أحجام النماذج.
ما تحصل عليه مقابل التكلفة
- لا يغادر أي شيء تكتبه جهازك. ليس ذلك سياسة توضّح كيفية تعامل خادم مع نصك، بل ميزة ناتجة عن مكان معالجته.
- يعمل دون اتصال. على متن طائرة أو قطار، أو عبر شبكة Wi-Fi في فندق توقفت عن ترجمة أسماء النطاقات باستخدام DNS.
- لا اشتراك لكل مستخدم ولا حساب، لأنه لا يوجد خادم يلزم دفع تكاليفه.
- لا تفاوت في زمن الاستجابة. يعمل النموذج المحلي بالسرعة نفسها في التاسعة صباحًا والخامسة مساءً، على عكس الخدمة المشتركة.
إن كانت هذه المزايا تستحق غيغابايتًا من الذاكرة المحجوزة، فهذا سؤال حقيقي تختلف إجابته من شخص إلى آخر. لكنه سؤال أبسط مما يبدو، ويمكن الإجابة عنه خلال أسبوع.