Казалось бы, современные LLM должны неплохо справляться с подобными заданиями. Однако, даже передовые модели сталкиваются с серьезными трудностями. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna уверенно проходили простые уровни, но на самых длинных заданиях с взаимосвязанными изменениями точность падала до 13% и ниже. Исследователи из Allen Institute for AI решили выяснить, в какой момент модели начинают терять информацию о состоянии объектов. Их интересовали не только предельные возможности архитектур, но и различия между задачами, которые на первый взгляд выглядят почти одинаково. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page