자나스, 32GB 노트북에서 48.4GB 모델 실행 결과 공개…메모리 제약 넘는 실험

로컬 AI 모델은 파일을 보관할 공간과 실행 중 사용할 메모리를 모두 필요로 한다. 모델이 크면 더 큰 장비를 선택하거나 실행할 모델을 줄이는 판단으로 이어지기 쉽다. 자나스의 공개 결과는 일부 데이터를 저장장치에 두고 필요한 순간 가져오는 방식이 이 제약을 어느 범위까지 바꿀 수 있는지를 보여주는 실험이다.

자나스-LLM은 여러 전문가를 가진 MoE 모델에서 현재 계산에 필요한 가중치를 NVMe SSD로부터 읽는다. 반복해서 사용되는 부분은 메모리에 남겨 다시 읽는 부담을 줄인다. 모든 가중치를 동일하게 사용하는 모델과 구분되는 방식이며, 어떤 모델이든 메모리 제한 없이 같은 속도로 실행할 수 있다는 의미는 아니다.

제작자가 공개한 대표 사례는 파일 크기 48.4GB의 Qwen3-Next-80B-A3B다. 32GB 메모리 장비에서 답변 생성은 초당 24토큰, 비교한 llama.cpp는 2.8토큰이라고 보고했다. 긴 이름의 모델 수치보다 중요한 점은 메모리보다 큰 파일을 가진 모델의 실행 결과를 구체적인 장비 조건과 함께 공개했다는 데 있다.

비교 수치에는 같은 장비와 다른 실행 조건이 들어 있다

측정 장비는 Debian 13, Intel Core Ultra 9 185H, 내장 Arc GPU, 32GB 메모리와 NVMe SSD 구성이다. 공개된 비교는 10월 9~11일 측정에 기반한다. 10월 12일 릴리스 날짜와 측정 날짜는 같지 않으며, 릴리스 버전만 보고 그날 모든 시험이 이뤄졌다고 해석할 수는 없다.

큰 모델의 llama.cpp 실행에는 메모리 사용을 바꾸는 별도 빌드·옵션이 쓰였다. 제작자는 두 도구가 답변을 생성하기 전에 프롬프트를 다루는 측정 방식도 완전히 같지는 않다고 적었다. 따라서 24와 2.8을 나눠 얻는 값은 해당 비교의 숫자일 뿐, 모든 모델과 모든 컴퓨터에서 반복되는 개선 배수는 아니다.

토큰 생성 속도와 사용자가 작업 결과를 기다리는 전체 시간도 구분된다. 모델을 처음 준비하고 입력을 읽는 과정, 이후 응답을 만드는 과정은 각각 다른 자원을 쓴다. 이번 결과가 직접 보여주는 것은 특정 환경의 실행 지표이며 문서 처리나 개발 업무의 전체 생산성을 측정한 결과는 아니다.

Linux와 Windows 패키지를 제공한다는 점은 실행 경로가 공개됐다는 정보다. 지원 환경의 이름이 적혀 있어도 모든 CPU·그래픽카드 조합의 안정성을 시험한 것은 아니다. 제작자는 다른 하드웨어에서의 속도와 동작을 확인하지 못했다고 밝혔고, 운영용 제품이라는 표현도 피했다.

메모리가 부족할 때 저장장치를 활용하는 방식은 모델 실행의 경계를 넓힐 수 있지만, 저장장치의 처리량과 다른 프로그램의 자원 사용도 영향을 준다. 이는 큰 모델을 돌릴 수 있느냐와 일상적인 작업 중 안정적으로 돌릴 수 있느냐가 다른 질문임을 보여준다. 공개 숫자를 장비 구매의 보편적인 기준으로 삼기에는 검증 범위가 좁다.

이번 소식은 새로운 대형 모델 출시보다 실행 방식의 변화에 가깝다. 실제 장비에서 큰 모델을 다루는 방법을 공개하고 한계를 함께 제시했다는 점이 뉴스 가치다. 앞으로 여러 장비와 다양한 입력에서의 결과가 쌓이면, 메모리와 저장장치를 함께 설계하는 로컬 AI의 선택지도 더 구체적으로 평가할 수 있다.