엔비디아, 도리 1.0 공개…같은 40억 모델로 추론 연산 조절

가중치를 키우는 대신 계산을 반복

도리는 입력부와 출력부 사이의 공통 블록을 여러 번 적용하는 구조다. 같은 매개변수를 다시 사용하므로 반복 횟수를 늘릴 때마다 별도 모델 가중치를 준비할 필요는 없다. 다만 매개변수가 그대로라는 사실과 계산 시간이 그대로라는 사실은 다르다. 반복 단계가 추가되면 토큰 하나를 처리하는 데 필요한 연산도 늘어난다.

엔비디아는 기본 출발점으로 두 번의 반복을 권한다. 계산량을 우선 줄이려면 한 번, 추가 정확도가 중요한 작업에서는 네 번을 검토하라는 설명이다. 모든 질문에 가장 긴 추론을 강제하는 대신, 같은 모델 안에서 연산 예산을 선택할 수 있다는 점이 이번 공개의 특징이다.

자체 평가의 SWE-bench Verified 성적은 반복 한 번에서 50.3, 두 번에서 59.5, 네 번에서 61.8이다. Terminal-Bench 2.1도 12.5, 18.1, 22.2로 달라졌다. 이 숫자는 모델의 반복 설정이 작업 결과에 영향을 준다는 근거이지만, 실제 외주 개발이나 사내 유지보수 업무의 해결 비율로 옮길 수는 없다.

네 번 반복이 모든 항목에서 가장 좋았던 것도 아니다. 모델 카드의 GPQA Diamond 성적은 두 번에서 72.41, 네 번에서 72.16이다. 평가 편차까지 고려해야 하므로 두 값만으로 우열을 확정할 수는 없지만, 연산을 더 쓰면 언제나 모든 성능이 오른다는 단순한 설명은 성립하지 않는다.

메모리와 지연 시간을 따로 봐야 하는 이유

일반적인 반복 구조는 각 반복의 중간 정보를 별도로 보관할 수 있다. 도리는 마지막 반복의 캐시만 유지하는 선택지도 제공한다. 이는 반복 횟수에 따른 캐시 증가를 줄이는 설계이며, 전체 실행 메모리가 사라진다는 의미는 아니다. 가중치, 입력 길이, 동시 처리 수가 요구 자원을 계속 결정한다.

출력 토큰 수가 줄 수 있다는 설명도 응답 속도와 분리해서 읽어야 한다. 한 토큰에 더 많은 계산을 쓰면서 최종 출력은 짧아질 수 있기 때문이다. 편집 관점에서 이 모델은 토큰 생성 속도 하나보다 질문을 받고 일을 끝낼 때까지의 시간으로 평가할 이유를 보여 준다. 작업당 소비 자원까지 함께 봐야 반복 설정의 이득이 드러난다.

최대 25만6,000토큰 문맥은 모델 사양이다. 실제 실행 예제의 문맥 크기는 장비와 설정에 따라 더 작게 잡힐 수 있다. 작은 매개변수 수와 긴 문맥을 함께 보고 모든 환경에서 최대 길이를 즉시 쓸 수 있다고 결론내리면 메모리 요구량을 놓치기 쉽다. 한국어 업무에서의 품질 역시 영어 지원 표기만으로 확인되지 않는다.

배포 형식도 실행 경로에 따라 선택해야 한다. GGUF 가중치는 로컬 실행 생태계를 위한 선택지를 제공하지만, 현행 안내는 도리 지원이 포함된 llama.cpp 소스를 별도로 빌드하는 과정을 적고 있다. vLLM 지원도 검토 중인 변경에서 설치하도록 안내한다. 일반 배포판을 설치하면 모든 기능이 바로 동작한다고 보도할 조건은 아니다.

소형 모델의 활용 범위는 실제 업무에서 결정

라이선스는 OpenMDW 1.1이다. 카드에는 상업·비상업 사용이 가능하다고 설명돼 있지만 MIT나 Apache 2.0과 같은 이름으로 바꿔 소개해서는 안 된다. 가중치를 수정하거나 서비스로 제공할 때는 해당 원문의 조건을 기준으로 판단해야 한다. 파일 형식이 여러 개라는 점과 이용 조건이 서로 무관한 것도 아니다.

이번 공개는 소형 모델의 경쟁이 단순히 매개변수 수를 줄이는 데 머무르지 않는다는 사례다. 같은 가중치로 연산량을 바꾸면 응답이 급한 요청과 더 신중한 처리가 필요한 요청을 다르게 다룰 여지가 생긴다. 다만 이는 활용 가능성에 대한 해석이다. 도리가 모든 대형 모델을 대체하거나 자체 호스팅 비용을 자동으로 낮춘다는 결론은 현재 자료가 뒷받침하지 않는다.