
Привет, Хабр! Меня зовут Максим Макаренко, я руковожу командой прикладных исследований в Sber AI Lab Сбера. Вместе с Юлией Беликовой, старшим исследователем из нашей команды, мы занимаемся новыми подходами к большим языковым моделям и ИИ-агентам: от памяти и рассуждений до надёжности, контроля и обнаружения ошибок. Одно из направлений нашей работы — разработка методов обнаружения и контроля ошибок в сложных ИИ-системах. По мере того как LLM переходят от обычных чат-ботов к RAG, памяти, инструментам и мультиагентным системам, меняется и сама задача проверки: уже недостаточно посмотреть только на финальный ответ, нужно понимать, где именно в цепочке рассуждений и действий могла возникнуть ошибка. В этой статье мы расскажем о двух наших работах — SIRIN и AutoJudge — и покажем, как задача обнаружения галлюцинаций постепенно превращается в более общую задачу контроля сложных ИИ-систем. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page