[지디넷코리아]인공지능(AI) 모델 최적화 기업 노타가 초거대 AI 모델 구동에 필요한 그래픽처리장치(GPU)를 8장에서 2장으로 줄이는 기술을 확보했다. AI 실행 과정에서 소비하는 에너지도 줄여 데이터센터와 기업용 AI 인프라 시장 공략에 나선다는 방침이다.노타는 업스테이지의 2500억 매개변수 AI 모델 '솔라 오픈 2'를 경량화해 구동에 필요한 엔비디아 H100 GPU를 기존 8장에서 2장으로 줄였다고 9일 밝혔다. 모델 가중치 저장에 필요한 메모리는 500.6기가바이트(GB)에서 117.8GB로 76.5% 감소했다고 설명했다.노타는 AI 모델의 연산 정밀도를 낮추는 양자화와 중요도가 낮은 연산 모듈을 제거하는 가지치기 기술을 적용했다. 모델 성능 저하를 최소화하면서 메모리 사용량을 줄여 적은 GPU로도 대규모 모델을 실행하도록 최적화했다.중국 문샷AI의 초거대 모델 '키미 K3'에도 기술을 적용했다. 전체 매개변수가 2조 8000억 개에 달하는 이 모델은 기존에 엔비디아 B300 GPU 8장이 필요했지만, 노타는 일부 연산 모듈을 제거해 GPU 6장과 4장으로 각각 구동할 수 있는 경량화 버전 2종을 개발했다.키미 K3에는 모델 내부에서 필요한 연산 모듈만 선택적으로 사용하는 전문가 혼합(MoE) 구조가 적용됐다. 노타는 각 모듈의 중요도를 분석해 상대적으로 기여도가 낮은 부분을 제거하는 방식으로 모델 크기를 줄였다.모델 경량화뿐 아니라 실제 AI 실행 과정에서 소비하는 에너지를 줄이는 기술도 개발하고 있다.노타는 AMD의 '라이젠 AI 맥스+ 395' 환경에서 알리바바의 '큐웬3 8B' 모델을 대상으로 추론 최적화 실험을 진행했다. GPU와 신경망처리장치(NPU)에 연산 작업을 나눠 맡기는 방식으로 기존 AMD 하이브리드 실행 환경보다 토큰당 에너지 소비를 31% 줄였다. AI가 답변을 완료하는 데 걸리는 시간도 최대 52% 단축했다고 밝혔다.이러한 기술 개발은 AI 데이터센터의 전력과 용수 사용에 대한 부담이 커지는 가운데 이뤄지고 있다.미국 여론조사기관 갤럽이 지난 3월 실시한 조사에서는 미국 성인 약 70%가 거주 지역에 AI 데이터센터를 건설하는 데 반대한다고 답했다. 반대 이유로는 전력과 물 사용에 따른 환경 영향과 생활비 부담 등이 꼽혔다.미국 로런스버클리국립연구소도 올해 발표한 보고서에서 2030년 데이터센터가 미국 전체 전력 사용량의 11.8%를 차지할 것으로 추산했다. 해당 전망은 AI 전용 시설뿐 아니라 전체 데이터센터 전력 수요를 대상으로 한다.데이터센터는 AI 모델을 실행하는 과정에서 발생한 열을 식히기 위해 냉각 설비를 가동한다. 냉각 방식에 따라 상당한 전력이나 물이 필요하다. AI 모델의 연산량과 메모리 사용량을 줄이면 일정한 작업량을 처리하는 데 필요한 서버 자원과 전력 부담을 낮출 수 있다.노타는 이를 위해 AI 모델 경량화와 반도체별 연산 최적화, 추론·서빙 효율 개선으로 기술 적용 범위를 넓히고 있다. 추론 최적화는 AI가 답변을 생성하는 연산 과정을 개선하는 기술이다. 서빙 최적화는 여러 이용자의 요청을 효율적으로 처리하도록 서버 자원을 배분하는 방식을 뜻한다.사업 확대에도 나선다. 노타는 자체 AI 모델 최적화 플랫폼 '넷츠프레소'를 중심으로 반도체 기업에 소프트웨어 라이선스와 모델 최적화 기술을 공급하고 있다. 기존 고객과의 후속 계약을 확보하면서 기술 공급 관계를 확대하고 있다는 설명이다.노타는 앞으로 GPU뿐 아니라 중앙처리장치(CPU), NPU 등 다양한 반도체 환경에서 AI 모델을 효율적으로 실행하도록 기술을 고도화할 계획이다. 특정 반도체에 의존하지 않고 기업이 보유한 컴퓨팅 자원을 활용해 AI를 운영하도록 지원한다는 전략이다.김태호 노타 최고기술책임자(CTO)는 "글로벌 반도체 생태계와의 협력을 기반으로 AI 실행과 운영 최적화 기술 적용 범위를 넓히고 있다"며 "고객의 컴퓨팅 효율을 높이는 사업을 확대해 나가겠다"고 말했다.
Continue to ZDNet Korea →You are being forwarded in 6s — stay on this page