Авторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми 74% на DeepSWE разошлись на 23 пункта, а в трассах нашлись рассуждения вроде «риск теста с такими числами минимален» и «будем следовать тестам, раз оценка идёт по ним». Семь из 13 моделей обманули проверку, которая верила метрике памяти из самой программы, а DeepSeek вытащил API-ключ и через OpenRouter добыл чужое решение, после чего стёр собственный правильный код. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page