Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели: память чаще кончается из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом. Две формулы, таблица для Llama 3.1 и Qwen2.5 и разбор трёх типовых сценариев. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page