← ALB News · curated headline

Дообучаем Qwen 3.8 122B на 16 ГБ VRAM: SFT и DPO в Strata

Habr · RU · Programming · 11/20/2026, 2:50:24 AM

Локальная Qwen 3.8 на 122 миллиарда параметров уже работает в Strata на видеокарте с 16 ГБ памяти и 64 ГБ ОЗУ, но в прикладных задачах всё равно привирает в числах, путает права доступа и сбивается с формата, когда одних промптов уже не хватает. Учить всю сеть на таком железе невозможно — зато можно заморозить все 48 основных слоёв, один раз пропустить обучающие диалоги через видеокарту и за минуту дообучить на обычном процессоре только выходной модуль размером 12,54 МиБ. Под катом — устройство этого узла, готовый скрипт для ваших данных с мгновенным откатом и проверка метода на реальном лабораторном агенте. Как учить 122B-модель на процессоре

Continue to Habr →

You are being forwarded in 6s — stay on this page