
Замечали ли вы, что одна и та же модель в одном ИИ-помощнике для написания кода прекрасно чинит баги, а в другом не вывозит простую задачу? Кажется, что в этом виновата сама модель. Но это не совсем так. Мне захотелось поделиться с вами исследованием , в котором была рассмотрена программная оболочка вокруг модели, так называемая обвязка, или харнесс (по-английски — harness). Это рабочее место агента, где решается, как он составляет план, какие использует инструменты для работы с файлами и терминалом и что делает, когда переписка становится слишком длинной и перестает помещаться в контекстное окно. Обычно для сравнения обвязок берут готовые инструменты, прогоняют их на одних и тех же задачах и оценивают результаты. Но на них влияют сразу несколько факторов, и практически невозможно понять, какой из них сыграл главную роль. К тому же одна и та же обвязка с разными моделями ведет себя по-разному. А тут исследователи собрали простую обвязку и поочередно меняли в ней планирование, набор действий и управление контекстом. Результаты оказались довольно неожиданными. То, что нужно слабой модели, сильной либо не нужно, либо мешает, а некоторые умные механизмы вообще почти никем не используются. Ниже расскажу об этом подробнее. Для начала посмотрим, из чего состоит обвязка. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page