
[지디넷코리아]노타가 인공지능(AI) 모델과 그래픽처리장치(GPU)뿐 아니라 에이전트 추론·검증 과정까지 최적화해 기존 인프라를 교체하지 않고도 작업 시간을 최대 47% 단축했다.노타는 AI 모델 경량화와 GPU 커널 최적화에 에이전트 작업 흐름 제어 기술을 결합한 '풀스택 최적화' 기술을 개발했다고 19일 밝혔다.이번 기술 핵심은 AI 에이전트 실행 과정을 관리하는 '하네스(Harness)' 최적화다. 최근 응답 길이와 파일 수정 이력, 도구 실행 결과 등을 분석해 작업 상황에 맞는 추론 강도를 선택한다. 이미 완료한 검증이나 불필요한 재검토를 줄여 연산 자원을 효율적으로 활용하도록 설계했다.모델 답변 생성 과정과 GPU 연산 처리도 개선했다. 'D플래시2' 기반 추측 디코딩에 반복 문맥 재사용 기술을 적용하고 GPU 커널을 하드웨어 특성에 맞게 조정했다. 여러 GPU가 실행 설정을 공유하도록 해 중복 튜닝과 대기 시간도 줄였다.노타는 동일한 AI 모델과 엔비디아 'RTX 프로 6000' GPU 4장을 사용하는 환경에서 오픈소스 코딩 에이전트 '클라인(Cline)' 기본 구성과 성능을 비교했다. 평가에는 명령어 기반 작업 수행 능력을 측정하는 '터미널-벤치 2.1'과 소프트웨어 오류 수정 능력을 평가하는 'SWE-벤치 멀티링구얼'을 활용했다.평가 결과 추론 강도를 조절하는 '패스트' 모드는 문제 해결률을 높이거나 유사하게 유지하면서 작업 시간을 최대 32%, 출력 토큰을 최대 42% 줄였다. 반복 검증과 재검토까지 최소화한 '울트라 패스트' 모드에서는 작업 시간이 최대 47%, 출력 토큰은 최대 60% 감소했다.다만 소프트웨어 오류 수정 평가에서는 문제 해결률이 기존 65.7%에서 62.0%로 낮아져 최적화 수준에 따른 성능 차이도 확인됐다.김태호 노타 최고기술책임자(CTO)는 "AI 에이전트가 실제 업무에 도입될수록 모델 추론 속도보다 하나의 작업을 완료하는 데 필요한 시간과 연산 비용이 중요해진다"며 "모델과 GPU 최적화를 넘어 에이전트 추론과 검증 과정까지 함께 최적화해 동일한 인프라에서 더 많은 AI 업무를 처리할 수 있도록 기술 범위를 확대하고 있다"고 말했다.
Continue to ZDNet Korea →You are being forwarded in 6s — stay on this page