딥시크 딥인퍼(DeepInfer) 공개, 대규모 추론 엔진의 제공 범위를 명시
딥시크(DeepSeek)가 10월 20일 대규모 서비스에 사용하는 추론 프레임워크 딥인퍼를 공개했다. 저장소의 초기 커밋과 공개 사실을 밝힌 설명 문서도 이날 기록됐다. 이번 배포는 딥시크 V4.1 플래시(DeepSeek V4.1 Flash)의 실행 엔진을 다루며, 완전한 온라인 서비스 전체를 제공하는 것은 아니다.
- 엔비디아(NVIDIA) SM100 GPU와 화웨이 어센드(Huawei Ascend) 950 NPU를 지원 대상으로 적었다.
- 중간 계산 저장 시스템과 요청 분산 구성 등은 별도 구현이 필요하다.
자세히
저장소는 지원 모델을 V4.1 플래시로 한정하고, 최적화 연산과 병렬 처리, 추측 디코딩, 구조화 출력 등을 엔진의 기능으로 제시한다. 구조화 출력은 응답이 정해진 형식을 따르도록 제한하는 기능이다. 공개 모델 일반에 두루 붙이는 범용 도구라기보다, 현재 딥시크 모델과 지원 가속기를 중심으로 구성한 실행 기반이라는 점이 먼저 읽힌다.
제공 범위의 경계는 README에 명시돼 있다. 완전한 추론 서비스를 만들려면 KV 캐시 시스템, 단계별 분리 운영, 데이터 병렬 복제본 사이의 부하 분산이 더 필요하다. KV 캐시는 이전 입력에서 계산한 중간 결과를 저장해 다시 쓰는 장치다. 이 계층이 빠져 있다는 것은 엔진의 공개와 긴 대화를 유지하는 서비스 운영이 서로 다른 과제임을 보여준다.
별도 설명 문서는 입력을 읽는 프리필과 답을 차례로 만드는 디코드의 부하 특성을 나눠 설명한다. 딥시크는 각 단계에 계산 자원을 다르게 배치하고, 이미지 처리도 분리하는 구조를 사용한다고 밝혔다. 특정 연산 하나의 속도만 높여서는 전체 서비스 성능을 설명하기 어려우며, 장치 사이 통신과 요청 배치가 함께 영향을 준다는 것이 회사가 공개한 설계의 출발점이다.
규모에 관한 설명도 개인용 실행과는 거리가 있다. 회사는 효율적인 최소 운영 단위로 프리필 64개 GPU와 디코드 64개 GPU의 조합을 제시한다. 이는 회사가 권장하는 대규모 배치의 설명이며, 프로그램이 그보다 적은 장치에서 전혀 실행되지 않는다는 뜻은 아니다. 작은 실험 환경의 실행 가능성과 큰 서비스의 효율적인 자원 구성을 혼동하지 않도록 구분할 필요가 있다.
저장 계층의 구축은 외부 운영자에게 남은 중요한 과제다. 딥시크는 내부 인프라와 긴밀하게 결합한 캐시 관리와 부하 분산 코드를 아직 전부 공개하지 않았다고 설명한다. 같은 모델과 연산 코드를 확보하더라도 요청이 몰리는 방식, 재사용할 문맥의 양, 저장 장치 구성에 따라 운영 결과는 달라질 수 있다. 공개 설명은 설계 판단의 자료이지 특정 사업자의 운영 성과를 그대로 옮기는 보증서는 아니다.
평가 문서는 생성과 채점을 별도 단계로 나눈다. 한 번 생성해 저장한 출력을 다른 채점 방식으로 다시 평가할 수 있어, 모델이 낸 답과 평가자의 판단을 구별할 수 있다. 기본 방식은 언어 모델이 정답과의 의미상 일치를 판단하며, 일부 시험에는 정해진 규칙으로 채점하는 방식도 있다. 평가 도구 공개의 가치는 숫자뿐 아니라 숫자가 만들어지는 조건을 드러내는 데 있다.
평가 문서에서 미국 수학경시대회(AIME) 2026은 문제 30개에 문제당 32개 표본, GPQA 다이아몬드(GPQA Diamond)는 198개에 표본 8개를 쓰도록 적혀 있다. 인류 최후의 시험(Humanity’s Last Exam·HLE)은 2,500개 문항에 표본 하나를 쓰며, 자유 서술형 답이 많아 모델 기반 채점만 지원한다. 여러 표본의 평균으로 산출한 값과 단일 표본 결과가 같은 이름 아래 제시될 수 있으므로, 서로 다른 시험의 숫자를 하나의 보편적 정확도로 묶기는 어렵다.
또한 평가 문서는 필요한 출력이 모두 존재할 때만 대표 점수가 유효하다고 명시한다. 공개된 참고 수치는 설정 확인용이며 반복 실행에서 달라질 수 있다는 설명도 붙었다. 이는 개발사가 공개한 조건부 참고값으로, 외부 기관의 독립 성능 검증과는 구분된다. 점수만 떼어 비교하는 대신 생성 횟수와 채점 방식, 출력의 완결성을 함께 확인할 수 있도록 자료를 제공한 것이다.
엔진은 리눅스(Linux), 파이썬 3.12 등 환경 조건을 요구하고 아파치 2.0 라이선스로 배포된다. 의미 있는 변화는 개발사 밖에서도 실행 구조를 읽고 개선할 출발점이 생겼다는 것이다. 동시에 공개 파일과 내부 서비스 사이에 남은 운영 계층을 명시했다는 점은, 오픈소스 배포를 곧바로 완성된 서비스 출시로 받아들이지 않게 하는 판단 자료다.
- 무엇이 달라지나
- 모델 가중치에 더해 개발사가 실제 추론을 구성하는 엔진과 설계 설명을 살필 수 있게 됐다. 10월 18일 다룬 모델 업데이트와 달리, 이번 변화는 서버에서 그 모델을 실행하고 평가하는 기반의 공개다.
- 한계
- 배포판의 시작점은 오프라인 추론이다. 회사 내부 운영 시스템의 저장·부하 분산 코드가 모두 공개된 것은 아니며, 공개 엔진만으로 내부 서비스의 처리량이나 수익을 재현한다고 볼 수 없다.