Η φράση «εκτελεί ένα γλωσσικό μοντέλο στον υπολογιστή σας» κάνει τον κόσμο να φαντάζεται έναν ανεμιστήρα που ανεβάζει στροφές και έναν φορητό υπολογιστή που ζεσταίνεται ενώ δεν κάνετε τίποτα. Είναι λογικό να το φαντάζεστε, γιατί περιγράφει τι συμβαίνει όταν εκτελείτε άσχημα ένα μοντέλο συνομιλίας.
Οι προτάσεις πληκτρολόγησης έχουν διαφορετικό φόρτο εργασίας. Δείτε ποιο είναι το πραγματικό τους κόστος, ώστε να επιλέξετε το κατάλληλο μέγεθος για το μηχάνημα που διαθέτετε.
Τέσσερα κόστη, και μόνο ένα είναι σταθερό
Δίσκος. Το αρχείο του μοντέλου, μία φορά. Από μερικές εκατοντάδες megabyte έως λίγα gigabyte, που καταλαμβάνονται κατά τη λήψη.
Μνήμη. Τα βάρη πρέπει να παραμένουν στη μνήμη όσο είναι φορτωμένο το μοντέλο: περίπου όσο το μέγεθος του αρχείου, συν ένα μικρό πρόσθετο περιθώριο λειτουργίας. Αυτό είναι το σταθερό κόστος και ο παράγοντας που καθορίζει αν ένα μέγεθος ταιριάζει στο μηχάνημά σας. Σε φορητό υπολογιστή με 16 GB, ένα gigabyte μνήμης για το μοντέλο δεν είναι κάτι το ασυνήθιστο. Σε φορητό υπολογιστή με 8 GB και ανοιχτό πρόγραμμα περιήγησης, τα τρία gigabyte είναι πολλά.
Υπολογιστική ισχύς. Μόνο κατά τη δημιουργία μιας πρότασης. Για τη συμπλήρωση προτάσεων, αυτό απαιτεί μερικές εκατοντάδες χιλιοστά του δευτερολέπτου, λίγες φορές το λεπτό, και η λειτουργία διακόπτεται από τις παύσεις ανάμεσα στα δικά σας πατήματα πλήκτρων. Συγκρίνετέ το με έναν βοηθό συνομιλίας που δημιουργεί εξακόσιες λέξεις, απασχολώντας τον επεξεργαστή στο μέγιστο για αρκετά δευτερόλεπτα.
Μπαταρία. Ακολουθεί την κατανάλωση υπολογιστικής ισχύος. Οι σύντομες περίοδοι λειτουργίας κοστίζουν λίγο· η ειλικρινής επιφύλαξη είναι ότι ένα μηχάνημα που δεν περνά ποτέ στις βαθιές καταστάσεις εξοικονόμησης ενέργειας καταναλώνει περισσότερο από ένα που περνά, επομένως η επίδραση δεν είναι ακριβώς μηδενική.
Ο αριθμός που πρέπει να θυμάστε: η πρόβλεψη κατά την πληκτρολόγηση είναι αδρανής σχεδόν όλη την ώρα. Η μόνιμα δεσμευμένη μνήμη είναι το πραγματικό κόστος, ενώ όλα τα υπόλοιπα είναι αμελητέα, εκτός αν το μοντέλο είναι υπερβολικά μεγάλο για το μηχάνημα.
Γιατί το αρχείο είναι μικρότερο απ’ όσο περιμένετε
Ένα μοντέλο που διαφημίζεται ως μερικές εκατοντάδες megabyte δεν έχει μερικές εκατοντάδες εκατομμύρια παραμέτρους. Τα μοντέλα διανέμονται κβαντισμένα, με τα βάρη αποθηκευμένα σε μειωμένη ακρίβεια — συνήθως σε τέσσερα ή πέντε bit αντί για δεκαέξι. Αυτό συνεπάγεται περίπου τετραπλάσια μείωση στο μέγεθος και τη χρήση μνήμης, με μέτρια και μετρήσιμη απώλεια ποιότητας.
Για συλλογιστική ανοιχτού τύπου, αυτή η απώλεια έχει σημασία. Για την ολοκλήρωση μιας πρότασης που έχετε ήδη αρχίσει, ως επί το πλείστον δεν έχει, επειδή οι περιορισμοί προκύπτουν από το δικό σας κείμενο και όχι από το βάθος του μοντέλου. Αυτός είναι ο τεχνικός λόγος για τον οποίο ένα μικρό τοπικό μοντέλο είναι κατάλληλο για αυτή την εργασία, αλλά όχι για άλλες.
Το πραγματικό όριο είναι η καθυστέρηση, όχι η ποιότητα
Υπάρχει μια αυστηρή προθεσμία. Μια πρόταση που φτάνει αφού έχετε ήδη πληκτρολογήσει τις λέξεις είναι χειρότερη από το να μην υπήρχε καθόλου: εμφανίζεται μόλις τελειώνετε και τη διαβάζετε χωρίς λόγο.
Αυτή η προθεσμία περιορίζει το μέγεθος του μοντέλου, ανεξάρτητα από το πόση μνήμη έχετε. Πέρα από ένα ορισμένο σημείο, ένα καλύτερο μοντέλο είναι ένα πιο αργό μοντέλο, και πιο αργό σημαίνει ότι δεν θα χρησιμοποιηθεί. Ο πρακτικός στόχος είναι μια πρόταση που εμφανίζεται όσο τα δάχτυλά σας βρίσκονται ακόμη στο κενό ανάμεσα στις λέξεις — σε μερικές εκατοντάδες χιλιοστά του δευτερολέπτου, όχι σε ενάμιση δευτερόλεπτο.
Αυτό αντιστρέφει τη συνήθη διαίσθηση. Εδώ, το μεγαλύτερο δεν είναι καλύτερο αφού φτάσει στο σημείο να καθυστερεί. Το σωστό μέγεθος είναι το μεγαλύτερο που εξακολουθεί να απαντά μέσα στο κενό, στο δικό σας υλικό — και αυτό σημαίνει διαφορετική απάντηση για ένα ultrabook του 2019 και για έναν επιτραπέζιο υπολογιστή με ξεχωριστή κάρτα γραφικών.
Επιλογή μεγέθους
Typeahead διατίθεται σε τρία μεγέθη, που αντιστοιχούν άμεσα σε αυτόν τον συμβιβασμό.
| Μέγεθος | Στον δίσκο | Δηλωμένη απαίτηση | Για ποιους προορίζεται |
|---|---|---|---|
| Fast (προεπιλογή) | ~600 MB | — | Κάθε υποστηριζόμενο μηχάνημα· η σωστή επιλογή για αρχή |
| Balanced | ~1.2 GB | 8 GB μνήμης συστήματος | Μηχανήματα με περιθώριο πόρων: καλύτερες προτάσεις, που παραμένουν άνετα γρήγορες |
| Maximum quality | ~2.5 GB | Ξεχωριστή κάρτα γραφικών με 8 GB δικής της μνήμης, 16 GB μνήμης συστήματος | Επιτραπέζιοι υπολογιστές και σταθμοί εργασίας με κανονική GPU |
Δύο πράγματα σχετικά με αυτόν τον πίνακα.
Ξεκινήστε με το Fast, ακόμη κι αν το μηχάνημά σας μπορεί να σηκώσει μεγαλύτερο μοντέλο. Χρησιμοποιήστε το για μία εβδομάδα. Αν οι προτάσεις είναι αρκετά ακριβείς ώστε να σας φανούν χρήσιμες, ένα μεγαλύτερο μοντέλο δεν θα σας προσφέρει κάτι που θα παρατηρήσετε όσο πληκτρολογείτε ένα μήνυμα συνομιλίας. Αν είναι εμφανώς ανακριβείς, επιλέξτε το επόμενο μέγεθος — και πλέον θα ξέρετε τι ανταλλάσσετε με τη χαμηλότερη καθυστέρηση.
Η βαθμίδα Maximum απαιτεί ξεχωριστή κάρτα με δικά της 8 GB, όχι 8 GB κοινόχρηστης μνήμης συστήματος. Τα ενσωματωμένα γραφικά ενός φορητού υπολογιστή δεν πληρούν αυτή την προϋπόθεση, και το να εξαναγκάσετε ένα μοντέλο να τρέξει σε υλικό που πρέπει να το μεταφέρει στη δευτερεύουσα μνήμη είναι ακριβώς ο τρόπος να προκαλέσετε την εμπειρία με τον ανεμιστήρα να δουλεύει στο φουλ, από την οποία ξεκίνησε αυτό το άρθρο.
Μηχανήματα που όντως έχουν πολύ περιορισμένους πόρους
- 8 GB RAM με ανοιχτά ένα πρόγραμμα περιήγησης, το Teams και το Office. Βρίσκεστε ήδη κοντά στο όριο πριν φορτωθεί οτιδήποτε άλλο. Χρησιμοποιήστε το μικρότερο μοντέλο και περιμένετε να το παρατηρήσετε περισσότερο απ’ ό,τι κάποιος με 16 GB. Αν το μηχάνημά σας ήδη χρησιμοποιεί εικονική μνήμη κατά τη διάρκεια μιας συνηθισμένης ημέρας, ένα μοντέλο που παραμένει στη μνήμη θα επιδεινώσει την κατάσταση.
- Παλαιότεροι επεξεργαστές χωρίς AVX2. Οι βιβλιοθήκες εκτέλεσης συμπερασμάτων βασίζονται σε διανυσματικές εντολές. Ένας επεξεργαστής πριν από το 2013 θα είναι πιο αργός από κάθε αναφερόμενη τιμή, και εκεί θα σας επηρεάσει το παραπάνω όριο καθυστέρησης.
- Λεπτοί φορητοί υπολογιστές με θερμικούς περιορισμούς. Οι εκτελέσεις είναι αρκετά σύντομες, ώστε είναι απίθανο αυτός ο φόρτος εργασίας από μόνος του να προκαλέσει παρατεταμένο περιορισμό της απόδοσης. Ωστόσο, ένα μηχάνημα που ήδη περιορίζει την απόδοσή του λόγω άλλου φόρτου δεν έχει περιθώριο.
- Με μπαταρία, μακριά από πρίζα. Οι προτάσεις εξακολουθούν να λειτουργούν, επειδή είναι τοπικές και δεν χρειάζονται σύνδεση. Αν προσπαθείτε να εξοικονομήσετε ενέργεια σε μια μεγάλη πτήση, προτιμήστε το μικρότερο μοντέλο.
Πώς να το ελέγξετε στο δικό σας μηχάνημα
Οι αριθμοί που μετρήθηκαν σε φορητό υπολογιστή κάποιου άλλου δεν σας λένε και πολλά. Δύο μετρήσεις, δέκα λεπτά.
- 1. Πριν εγκαταστήσετε οτιδήποτε, ανοίξτε τη Διαχείριση Εργασιών → Απόδοση και σημειώστε τη χρήση μνήμης σε μια συνηθισμένη διαμόρφωση εργασίας: τις καρτέλες που έχετε συνήθως ανοιχτές στο πρόγραμμα περιήγησης, το ηλεκτρονικό ταχυδρομείο και τις συνομιλίες.
- 2. Αφού εγκαταστήσετε και φορτώσετε ένα μοντέλο, κοιτάξτε την ίδια ένδειξη, καθώς και τη χρήση μνήμης της ίδιας της εφαρμογής στην καρτέλα Διεργασίες.
Αν η διαφορά σάς αφήνει άνετα κάτω από το συνολικό όριο, είστε εντάξει. Αν σας φέρνει στα όρια, επιλέξτε μικρότερο μέγεθος.
Η καθυστέρηση είναι υποκειμενική, και αυτό είναι πλεονέκτημα: πληκτρολογήστε μια πρόταση που θα γράφατε κανονικά και προσέξτε αν η πρόταση είναι διαθέσιμη όταν σταματούν τα δάχτυλά σας ή αν εμφανίζεται αργότερα. Η δοκιμαστική περίοδος είναι ο σωστός τρόπος να το διαπιστώσετε — της Typeahead είναι επτά ημέρες, με όλα τα μεγέθη μοντέλων ξεκλειδωμένα.
Τι κερδίζετε με αυτό το κόστος
- Τίποτα από όσα πληκτρολογείτε δεν φεύγει από το μηχάνημα. Δεν πρόκειται για πολιτική σχετικά με τον τρόπο με τον οποίο ένας διακομιστής χειρίζεται το κείμενό σας, αλλά για ιδιότητα του σημείου όπου γίνεται η επεξεργασία.
- Λειτουργεί χωρίς σύνδεση. Σε αεροπλάνο, σε τρένο, σε ξενοδοχειακό Wi-Fi που σταμάτησε να επιλύει διευθύνσεις DNS.
- Χωρίς συνδρομή ανά χρήστη και χωρίς λογαριασμό, επειδή δεν υπάρχει διακομιστής για τον οποίο πρέπει να πληρώσετε.
- Χωρίς μεταβλητή καθυστέρηση. Ένα τοπικό μοντέλο έχει την ίδια ταχύτητα στις 9 π.μ. και στις 5 μ.μ., σε αντίθεση με μια κοινόχρηστη υπηρεσία.
Το αν αξίζει ένα gigabyte μνήμης που δεσμεύεται μόνιμα είναι ένα πραγματικό ερώτημα, με διαφορετική απάντηση για τον καθένα. Είναι μικρότερο ερώτημα απ’ όσο ακούγεται και μπορεί να απαντηθεί μέσα σε μία εβδομάδα.