Фронтирные модели, в которых компании ежедневно сжигают миллиарды токенов, становятся все более монструозными и дорогими. Экономика и законы о ПДн подталкивают бизнес к идее локального инференса. Но запуск большой открытой модели требует сложной инфраструктуры и дорогих GPU (которые еще попробуй найди!). Хорошая новость в том, что для многих бизнес-задач – разобрать обращения, достать контакты из письма, оценить отзыв – фронтирные модели избыточны. Это все равно что забивать гвозди микроскопом. А легкие модели размером 1–4B работают и на обычных процессорах. Я проверил, насколько это рабочий вариант: взял VPS с шаблоном Ollama примерно за 1,5 тыс. ₽ в месяц (4 vCPU, 4 ГБ RAM, без видеокарты) и прогнал девять легких моделей на семи бизнес-задачах плюс нагрузочный тест. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page