
Всем привет, я продолжаю потихоньку своё погружение в мир ИИ, и этот материал не является обучающей статьей, которая даст вам глубокие знания или объяснит выбранную тему на чётких примерах. Это агрегация полученных мною знаний, которая, на мой взгляд, будет полезна определённой группе людей, которые планируют в целом работать рядом/около с системами, построенными на использовании языковых моделей для решения различных задач (мне бы она была полезна, если бы я нашёл именно в таком формате). Это не урок — это шпаргалка. Я уже в общем виде давал описание работы RAG‑системы: от сбора документов и чанкинга до генерации ответа, и разобрал, что происходит на каждом этапе. Здесь сосредоточимся на одном из ключевых этапов — retrieval — и представим информацию в таком контексте, чтобы мы сами могли ответить на некоторые вопросы, которые, например, у меня возникали в процессе обучения: Как вообще организовать поиск? Является ли он последовательным или может быть параллельным? Сколько ретриверов можно/нужно использовать для поиска? Являются ли функции поиска, агрегации, ранжирования и дедупликации функциями одной компоненты или это разные программы/плагины? Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page