MS, ‘마이아 300’ 공개…2027년부터 자체 서비스 추론 기반 확대

AI가 여러 자료를 읽고 도구를 호출하는 작업을 오래 수행하면 계산량뿐 아니라 데이터를 옮기는 비용이 커진다. 메모리에서 필요한 값을 꺼내고 여러 가속기 사이에 전달하는 과정이 반복되기 때문이다. MS는 마이아 300을 이런 추론 작업에 맞춰 칩부터 소프트웨어와 데이터센터까지 함께 설계한 시스템으로 소개했다.

추론은 이미 학습한 모델을 실행해 응답과 행동을 만드는 과정이다. 훈련이 모델을 만드는 비용이라면 추론은 서비스를 제공할 때 반복되는 비용이다. 회사가 자체 제품의 주요 추론 기반을 확대하겠다는 발표는 모델 개발 능력과 함께 계속 발생하는 운영 부담을 직접 다루려는 전략으로 읽힌다.

현재 마이아 200은 코파일럿(Copilot)을 포함한 실제 운영 작업에 사용된다고 MS가 밝혔다. GitHub Copilot과 Microsoft Foundry는 연말까지 이어질 제공 계획으로 설명했다. 300의 예고와 200의 운영 사례가 한 발표에 담겼지만, 이용자가 오늘 경험하는 기반과 내년에 확장할 기반은 같지 않다.

처리량과 전력 효율은 서로 다른 비교다

MS는 마이아 300이 주요 GPU 기반 시스템보다 메가와트당 토큰을 40% 더 처리할 것으로 예상했다. 또 96개 가속기의 완전한 구성에서는 마이아 200보다 랙 단위 토큰 처리량이 최대 7배라고 제시했다. 두 수치는 비교 대상과 단위가 다르다. 모두 ‘기존 칩 하나보다 7배 빠르다’는 설명으로 바꿀 수 없다.

Azure의 기술 설명에 따르면 랙의 가속기 수는 96개로 두 배가 됐다. 따라서 랙 전체 처리량에는 칩의 변화뿐 아니라 묶는 규모와 통신 구성의 변화가 포함된다. 실제 서비스를 위한 용량 확대로는 중요한 수치지만, 같은 전력·같은 장비 수를 놓고 진행한 독립 시험의 결과로 소개된 값은 아니다.

가속기 하나에는 HBM4 메모리 스택 8개를 두고 최대 18TB/s 대역폭을 제공한다고 설명했다. 해당 열설계전력은 950W다. 랙 전체에는 27.6TB의 HBM 용량과 합계 1.7PB/s 대역폭을 제시했다. 용량은 보관할 수 있는 양이고 대역폭은 데이터를 이동시키는 속도이므로 서로 다른 제약을 다룬다.

칩렛 설계는 계산·메모리 제어·입출력 기능을 나눠 구성한다. 계산 칩렛에는 TSMC N2P 공정을 적용하며, 기술 문서는 데이터를 계산부 가까이에 두는 방식과 낮은 정밀도 표현으로 이동량을 줄이는 방향을 설명했다. 연산기의 숫자만 키우기보다 자료를 저장하고 전달하는 경로를 함께 바꾸는 접근이다.

네트워크 역시 이 시스템의 일부다. 기술 문서는 96개 가속기의 랙을 넘어 최대 1만 2,288개를 연결하는 규모를 설명했다. 더 넓은 연결이 모든 작업에 항상 유리한 것은 아니며, 어떤 모델을 어느 범위에 배치하느냐가 통신 부담과 동시 처리에 영향을 준다. 실제 운영의 배치 문제가 칩 발표에 함께 들어왔다.

MS가 예고한 핵심 변화는 자사 서비스의 추론을 이런 전체 시스템으로 확대하겠다는 것이다. 이를 GPU의 완전한 대체 선언이나 모든 외부 고객에게 제공되는 동일 상품으로 읽으면 범위를 벗어난다. 내년 생산 배치와 서비스별 적용이 진행돼야 설계의 효율이 실제 용량과 비용으로 얼마나 이어지는지도 판단할 수 있다.