Инженер-программист Эндрю Россиньол поделился в своем блоге результатами необычного эксперимента: ему удалось запустить генеративную модель искусственного интеллекта на ноутбуке PowerBook G4 2005 года выпуска.
Устройство, оснащенное процессором PowerPC G4 с частотой 1,5 ГГц и всего 1 ГБ оперативной памяти, считается устаревшим для современных задач, однако Россиньол смог адаптировать для него языковую модель Llama 2 от Meta*.
Для реализации проекта инженер использовал открытый исходный код llama2.c, который был портирован на архитектуру PowerPC. Производительность удалось повысить благодаря векторному расширению AltiVec, встроенному в процессор. Этот эксперимент демонстрирует, что даже 20-летнее оборудование способно выполнять сложные задачи, такие как обработка больших языковых моделей, при условии тщательной оптимизации программного обеспечения.
В блоге он подробно описал технические аспекты проекта, включая этапы портирования и настройки.
* Meta признала в …
Свежие комментарии