구글은 화요일 늦게 터보퀀트(TurboQuant) 압축 알고리즘을 도입했다고 발표했다. 이 알고리즘은 AI 모델의 속도와 효율성을 개선하는 동시에 메모리 사용량을 크게 줄일 수 있다고 구글 측은 밝혔다.
구글의 새로운 알고리즘은 AI 모델의 성능과 비용을 제한하는 주요 장애물을 해결하기 위해 개발되었다. 특히, 터보퀀트는 AI 모델 추론 단계에서의 KV 캐시 병목 현상을 해결하는 데 초점을 맞추고 있다.
터보퀀트는 KV 캐시 메모리 사용량을 기존의 6분의 1로 압축하며, 최대 8배의 성능 향상을 달성한다. 이 알고리즘은 기존 AI 시스템에 직접 배포할 수 있어, 즉각적인 효과를 기대할 수 있다.
또한, TurboQuant는 KV 캐시를 3비트로 압축하면서도 전 벤치마크에서 완전한 다운스트림 성능을 유지했다. H100 GPU에서 4비트 TurboQuant는 32비트 비양자화 키 대비 어텐션 로짓 연산에서 최대 8배의 속도 향상을 기록했다.
TurboQuant는 PolarQuant와 QJL의 2단계 구조로, 오버헤드 없이 최적 압축을 달성한다. 이 알고리즘은 별도 학습이나 파인튜닝 없이 정확도를 유지하면서 메모리를 최소 6배 줄인다.
마이크론 테크놀로지의 주가는 3.4% 하락하며 5거래일 연속 하락세를 기록했다. 이러한 상황 속에서 구글의 터보퀀트 도입은 AI 기술의 발전에 긍정적인 영향을 미칠 것으로 기대된다.
구글은 터보퀀트 알고리즘을 제미나이 및 자사 검색 인프라에 어느 범위까지 적용할지는 아직 공개되지 않았다. 이 연구 결과가 실제로 어떻게 활용될지는 앞으로의 지켜봐야 할 부분이다.
이러한 혁신적인 기술이 AI 모델의 성능을 어떻게 변화시킬지, 그리고 마이크론 테크놀로지의 주가에 미치는 영향은 주목할 만한 사항이다.
