Η startup PrismML φιλοδοξεί να αλλάξει τον τρόπο με τον οποίο οι χρήστες αλληλεπιδρούν με την τεχνητή νοημοσύνη, αναπτύσσοντας τεχνολογία συμπίεσης για μεγάλα γλωσσικά μοντέλα (LLM). Η εταιρεία παρουσίασε το Bonsai 2 27B, το οποίο συμπιέζει ένα ανοιχτού κώδικα μοντέλο 27 δισεκατομμυρίων παραμέτρων σε μόλις 5,9 GB, επιτρέποντάς του να λειτουργεί τοπικά σε προσωπικούς υπολογιστές και ισχυρά smartphones.
Η ομάδα, που απαρτίζεται από ερευνητές του Caltech και υποστηρίζεται από σημαντικούς επενδυτές, χρησιμοποιεί μια μέθοδο με τριαδικά βάρη (+1, -1, 0) αντί για τα παραδοσιακά 16-bit. Αυτή η προσέγγιση επιτυγχάνει μείωση της μνήμης έως και δέκα φορές, διατηρώντας παράλληλα το 98% των επιδόσεων του αρχικού μοντέλου σε benchmarks.
Η επόμενη φάση για την PrismML περιλαμβάνει την εφαρμογή της τεχνολογίας συμπίεσης σε ακόμη μεγαλύτερα μοντέλα κλίμακας εκατοντάδων δισεκατομμυρίων παραμέτρων. Ο στόχος είναι η παροχή δωρεάν, ιδιωτικής και άμεσα προσβάσιμης νοημοσύνης απευθείας στις συσκευές των χρηστών, χωρίς την ανάγκη αποστολής δεδομένων στο cloud.
- Το μοντέλο Bonsai 2 27B συμπιέζεται σε μόλις 5,9 GB.
- Διατηρεί το 98% της απόδοσης του αρχικού μοντέλου Qwen.
- Χρησιμοποιεί τριαδικά βάρη αντί για παραδοσιακή κωδικοποίηση 16-bit.
- Επιτρέπει την τοπική εκτέλεση AI σε PC και smartphones.
Πηγές:
