Проект llama-modchip выложен под Apache 2.0. Это набор патчей для ядер ggml/llama.cpp, инструменты квантования и скрипты, которые позволяют гонять разреженные MoE-модели прямо на процессоре. Автор утверждает, что DeepSeek-V4-Flash (284 млрд параметров, из них 13 млрд активных) работает на машине с 64 ГБ оперативной памяти: без видеокарты и без свопа. Разбираю, что у него получилось ниже. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page