Как оценить надежность диагнозов LLM, если доступен только API

Привет! Меня зовут Глеб Кузьмин, я научный сотрудник лаборатории FusionBrain и занимаюсь методами оценки неопределенности для моделей машинного обучения. В этом тексте я хотел бы рассказать про нашу работу "Uncertainty Guardrails for LLM-Based Medical Diagnostic Systems" , которая была представлена на Industry track EMNLP 2026, а на воркшопе UncertaiNLP 2026 получила Spotlight. В статье мы исследовали задачу оценки неопределенности ответов модели медицинской диагностики. Медицинские консультации стали, пожалуй, одной из самых первых областей человеческой деятельности, где LLM начали применять наиболее активно. Разработка и обучение специализированных ИИ‑ассистентов сможет облегчить рутину и документооборот медицинских работников и потому является важной задачей для многих компаний.  И, конечно, галлюцинации LLM здесь — реальная проблема, потому что на кону находится здоровье людей. Бороться с ними помогают методы оценки неопределённости (uncertainty quantification, UQ), которые присваивают ответу меру уверенности модели — если она низка, врачу стоит быть внимательнее. Такие методы развиваются давно, и зачастую они анализируют логиты или скрытые состояния модели. Но как быть, если основная модель доступна только через API? Вот об этом и поговорим. Читать далее

You are being forwarded in 6s — stay on this page