
Изначально я хотел сделать проект для обучения LLM для себя — ради эксперимента. А в итоге он вырос в программу, в которой свою LLM может обучить любой человек. Делаю его с 8 июня 2026 года — и до сих пор. Старый ПК в заголовке — не для красного словца. Core i5-2400 2011 года, 16 ГБ DDR3 и GeForce GT 710 — это и есть мой основной компьютер, мощнее у меня нет. Видеокарту PyTorch не поддерживает, так что всё в статье посчитано на процессоре. Мне было интересно проверить, что на таком железе реально сделать с языковыми моделями без облака. Получилось две вещи: модель на 7 млн параметров, обученная с нуля на русских народных сказках, и Qwen3.5-0.8B, дообученная за 1 ч 44 мин отвечать на вопросы о программе, в которой всё это сделано. Сразу оговорюсь: AuraLite — моя программа, я пишу её с июня 2026 года. Статья не про то, что «вот какой продукт», а про то, что на такой машине реально получается из обучения LLM и где проходят границы. Все цифры ниже — с этой машины, все неудачи — тоже. Коротко: Core i5-2400 2011 года, 16 ГБ DDR3, всё на процессоре. За 5 ч 38 мин выучил с нуля модель на 7 млн параметров на 321 сказке — она перенимает стиль, но не смысл. За 1 ч 44 мин дообучил Qwen3.5-0.8B отвечать по документации программы: дословных совпадений с эталоном 0 % → 33 %, потери в 38 раз ниже — и три честных провала. Данные и команды в конце, повторить можно на любом похожем железе. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page