Уже несколько месяцев я активно экспериментирую с локальными языковыми моделями на своем ноутбуке Lenovo ThinkPad P16 Gen 2 (Intel Core i7-13850HX, 128 GB RAM, Samsung 980 Pro 2 TB + 990 Pro 1 TB). Конфигурация очень бодрая для любых задач, кроме… работы с тяжелыми ИИ-моделями. И узкое горлышко здесь очевидно - видеокарта Nvidia RTX 2000 Ada Laptop всего с 8 ГБ VRAM. Дискретная, быстрая, заточенная под ИИ, но видеопамяти катастрофически мало! Тем не менее даже в эти 8 гигабайт вполне можно уместить отличную локальную модель, да еще и с контекстом на 8192 токена. Это позволяет вести долгие осмысленные диалоги без потери нити обсуждения. После долгих поисков и тестов я остановился на одной модели - gemma-4-12B-it-QAT в квантовании q4_0. Почему именно она? Премиальный уровень «из коробки»: Это модель от Google, обученная на их топовых решениях. Метод QAT (Quantization-Aware Training) минимизирует потери качества при «упаковке» в 4 бита. Минимум галлюцинаций: При правильной настройке (особенно с немного заниженной температурой) модель отлично держит контекст и выдает точные энциклопедические данные. Срез знаний у нее свежий “конец 2025 - начало 2026 года”. Настоящая локальная «мини-Википедия»! Хороший кодинг: Модель отлично пишет код (особенно на Python и PowerShell). Последующая верификация в среде разработки проходит практически со 100%-й точностью. Идеально влезает в VRAM: Вместе с контекстом в 8192 токена она целиком помещается в 8 ГБ видеопамяти. В LM Studio на моем ноутбуке она выдает честные 12 токенов в секунду, чего более чем достаточно для комфортного диалога. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page