PrismML — Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone
PrismML представили Bonsai 27B — першу 27B-модель, що вміщується на телефоні завдяки 1-бітному (3,9 ГБ) і тернарному (5,9 ГБ) квантуванню ваг. У бенчмарках вона зберігає 90–95% якості повної точності в математиці, коді, викликах інструментів, інструкціях та мультимодальних задачах. Це уможливлює локальне виконання складних агентних робочих циклів із нульовою маржинальною вартістю та без витоку приватних даних. Модель уже доступна під Apache 2.0, а також через безплатне API для розробників.