머큐리 3(Mercury 3), 확산형 언어 모델에 100만 토큰 문맥 도입
인셉션(Inception)이 10월 19일 확산 방식의 언어 모델 머큐리 3를 출시했다. 회사는 문맥 길이를 이전 26만 토큰에서 100만 토큰으로 늘리고 자체 API와 외부 제공 경로를 열었다고 밝혔다. 새 모델의 가격 공개와 함께 기존 머큐리 2·2.5 이용자를 위한 전환 기한도 제시됐다.
자세히
확산형 언어 모델은 답을 만드는 순서가 일반적인 순차 생성 방식과 다르다. 인셉션의 기존 머큐리 기술 소개는 여러 토큰을 병렬로 수정하면서 초안을 점차 다듬는 구조를 설명한다. 앞선 토큰이 나와야 다음 토큰을 계산하는 방식과 달리 한 번에 여러 위치를 개선하는 것이다. 회사는 이 구조를 빠른 생성의 근거로 제시해 왔으며, 이번 출시는 그 계열의 규모와 문맥을 확장한 사례다.
이 차이는 단순히 화면에 글자가 빨리 표시되는 문제를 넘어선다. 도구를 호출하고 결과를 읽은 뒤 다음 행동을 정하는 에이전트는 여러 차례 모델 응답을 기다린다. 생성 구간이 짧아지면 이 대기의 일부가 줄 가능성이 있다. 다만 브라우저나 데이터베이스의 응답 자체를 모델이 빠르게 만드는 것은 아니므로, 생성 처리량과 전체 업무 속도는 분리해서 해석해야 한다. 이는 구조에서 도출한 의미이며 사용 성과를 측정한 결과는 아니다.
이번 발표에서 인셉션은 머큐리 1(Mercury 1)보다 전체 매개변수 규모가 40배 넘게 커졌다고 설명했다. 동시에 엔비디아 GPU에서 초당 1,068토큰을 처리한다고 제시했다. 규모를 키워도 확산 방식의 속도를 유지할 수 있다는 것이 회사의 주장이다. 다만 발표 본문에서 이 수치에 대응하는 모든 하드웨어 구성과 동시 요청 조건을 확인할 수 없어, 다른 사업자의 서비스 속도와 동일 조건으로 비교하지 않았다.
가격은 공식 모델 페이지에서 정가와 출시 할인가를 구분해 확인할 수 있다. 정가는 100만 토큰당 입력 0.20달러, 출력 0.70달러이고, 현재 표시된 할인가는 각각 0.10달러와 0.35달러다. 캐시 입력은 같은 단위로 정가 0.02달러, 할인가 0.01달러다. 할인 중인 금액을 영구 요금처럼 계산하면 장기 운영비를 과소평가할 수 있다.
같은 상품 안내에는 기존 버전의 전환 조건도 있다. 머큐리 2(Mercury 2)와 머큐리 2.5(Mercury 2.5)는 신규 사용자에게 더 이상 제공하지 않는다. 10월 19일 이전 사용 이력이 있는 고객은 11월 15일까지 접근을 유지하며 기업 고객은 계약상의 지원을 따른다고 적혀 있다. 새 버전의 성능 발표와 별개로 기존 모델명을 고정해 사용하는 서비스에는 운영 일정에 직접 영향을 주는 변경이다.
현재 API 시작 문서는 기본 호출 예제의 모델을 머큐리 3로 제시한다. 파이썬(Python)과 타입스크립트(TypeScript)용 개발 도구, 다른 라이브러리를 통한 호출도 안내한다. 새 계정에는 결제 정보 없이 시작할 수 있는 1억 토큰이 포함된다고 설명하지만, 이는 계속 무료로 운영할 수 있다는 의미가 아니다. 문서는 무료량 이후 이용을 위해 결제 정보를 추가하는 흐름도 명시한다.
100만 토큰 문맥은 입력 용량이며 전체 길이에서의 정확성 보장은 아니다. 긴 입력은 읽는 비용도 늘린다. 이번 출시를 판단할 때는 문맥 크기와 생성 속도뿐 아니라 할인 이후 요금, 기존 버전의 지원 기한을 함께 볼 필요가 있다.
- 무엇이 달라지나
- 더 긴 문서를 한 요청의 문맥에 담을 수 있게 됐다. 공식 상품 페이지에는 출시 할인가와 기존 모델의 접근 종료 조건이 함께 올라와 있어 신규 도입자와 기존 이용자의 판단 지점이 다르다.
- 한계
- 초당 1,068토큰이라는 속도는 엔비디아(NVIDIA) GPU에서 측정했다는 개발사 발표다. 할인 종료일은 확인한 자료에 명시돼 있지 않으며, 기업 고객의 기존 모델 지원은 계약에 따른다.