Летом я дообучал Qwen3.6 27B на справочном материале по 1С и проверял результат субьективно на глаз: по ответам на последние добавленные объекты и доработанные методы. Позднее решил узнать точно, какие данные не усвоились при дообучении. В результате сделал нормальный тест: случайные сто вопросов из ~ 20 тысяч записей, ответы дообученной модели, два LLM-судьи и детерминированная проверка критичных полей. Всего 6 прогонов по 100 вопросов. Все результаты — не ниже 95 % корректных ответов. В эти проценты я зачислил и ответы с некритичными потерями: потерянный пример кода или переформулированное описание при точной сигнатуре — это не та ошибка, из-за которой падает код. Как я пришёл к этой методике и почему первые прогоны пришлось выбросить — ниже. С чего всё началось Предварительное исследование вопроса «можно ли уместить синтаксис 1С в LoRA адаптер» дало такой результат: при хорошем результате обучения Low Rank Adapter может усвоить только ~ 94 % синтаксических конструкций. Поэтому для точных знаний рекомендуется использовать RAG или LoRA + RAG. Но из этой информации следует практическая задача: примерно 6 % датасета осталось плохо усвоенным, и именно эти пробелы надо найти и запомнить, для понимания, каким точно данным от модели не стоит доверять. Как говориться, если точно знать где упадешь, можно заранее мягкое постелить. В первой статье я пошёл путём RAG: связал справочный материал через MCP-сервер с Roo Code и пытался проверить, как модель справляется, работая в агентном режиме. Было 4 новых агента с разными настройками: 1. Qwen3.6, 2. Qwen3.6+LoRA1C, Qwen3.6+RAG, Qwen3.6+LoRA1C+RAG. Ответы у всех были правильными — и это стало проблемой. Новым агентам информация давалась слишком легко, они тащили знания из любых доступных источников. Пришлось сначала сильно ограничить агентов в правах, а потом долго отклонять команды на чтение файлов "которые точно помогут в правильном решении задачи" и команды на доступ в интернет. RAG в такой связке работает, но тянет за собой векторную базу, ретрив и MCP-сервер, а вопрос об усвоенных 94 % так и остаётся открытым: правильные ответы агентов ничего не говорят о том, что выучила сама модель. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page