5 ноября 2026 года Thinking Machines Lab представила Inkling 2 Small, мультимодальную языковую модель с 594 млрд параметров, из которых при обработке одного токена активируются около 17 млрд. В анонсе особенно выделялась скорость предобучения: 8,4 трлн токенов всего за 68 часов на оборудовании NVIDIA GB300 NVL72 с использованием четырехбитного формата NVFP4. Цифра выглядит необычно даже на фоне современных MoE-моделей. Но 68 часов относятся только к первому этапу подготовки Inkling 2 Small. Далее последовали еще три этапа обучения на дополнительных данных, а затем девятидневный Reinforcement Learning на 2048 GPU с более чем 17 млн траекторий. Получившаяся модель набрала Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page