← ALB News · curated headline

Поиск по визуалу: дообучаем ColPali и ColQwen3 на русский домен, сравниваем текстовый и мультимодальный ретрив

Habr · RU · Programming · 11/12/2026, 4:36:26 AM

Привет, Хабр! Мы — Роман Макеев из X5 Tech и Егор Мачнев из Т-Банка — работали над поиском по документам с таблицами, графиками и сложной вёрсткой. Чтобы адаптировать визуальные поисковые модели к нужной предметной области, мы разработали методологию подготовки обучающих данных: берём документы и автоматически генерируем и проверяем запросы к их страницам. Составлять обучающие запросы вручную не нужно. В статье расскажем об этом процессе и сравнении с текстовым поиском. На закрытом корпусе X5-private, который не участвовал в обучении, дообученная ColQwen3-2B получила 0,84 nDCG@5 против 0,77 у лучшей текстовой модели. Читать далее

Continue to Habr →

You are being forwarded in 6s — stay on this page