리퀴드 AI, LFM3 공개…20억 매개변수급 여섯 모델을 한 뼈대로 만든 공개 가중치 모델군

LFM3의 첫 공개분은 LFM3-1.7B-Base에서 갈라진 여섯 모델이다. 텍스트용 LFM3-1.7B, 시각용 LFM3-VL-2B, 음성용 LFM3-Audio-2B, 셋을 합친 LFM3-Omni-2B, 그리고 시각 모델과 옴니 모델을 각각 판단 전용으로 특화한 d1-2B와 d1-Omni-2B다. 회사는 큰 범용 모델 하나를 돌리는 대신 용도에 맞는 모델을 골라 기기에서 돌리라는 방향을 제시했다.

구조는 세 가지 연산을 섞은 트라이 하이브리드다. 모델 카드에 따르면 24개 층 가운데 13개는 게이트가 달린 짧은 합성곱, 5개는 256토큰 창의 슬라이딩 윈도 어텐션, 6개는 전역 어텐션이다. 합성곱의 커널 크기는 이전 3에서 7로 커졌다. 회사는 LFM2 때 휴대전화 한 대와 노트북 한 대의 CPU로 하던 하드웨어 연동 구조 탐색을 이번에는 갤럭시 S26 울트라, 원플러스 15, 라즈베리 파이 5, 애플 M4 맥스, AMD 라이젠 AI, 클라우드 CPU, GPU, 퀄컴 헥사곤 NPU까지 14가지 조합으로 넓혔다고 설명했다.

학습 규모는 사전학습 22조 토큰이고, 그중 마지막 3조5,000억 토큰은 선별 데이터로 중간 학습을 하며 문맥 창을 25만6,000토큰으로 늘린 단계다. 이어진 지도 미세조정은 1조7,500억 토큰 규모라고 밝혔다. 회사는 이전 세대보다 과학 논문, 저장소 단위 코드, 수학, 그리고 에이전트 작업 기록과 도구 호출의 비중을 늘렸다고 설명했다.

속도와 메모리는 회사가 라마.cpp(llama.cpp)의 4비트 설정과 3만2,000토큰 문맥으로 잰 수치다. 세 기기 모두에서 비교 대상 중 가장 빠르고 다음 모델보다 1.8~2.8배 빠르게 토큰을 생성했으며, 12만8,000토큰 문맥의 KV 캐시가 1.6GB로 비교 모델의 4.3GB와 5.6GB보다 작았다고 밝혔다. 이 수치는 회사가 고른 기기와 설정의 결과이므로 다른 환경에서는 달라질 수 있다.

시각과 음성 모델에는 자체 인코더가 들어갔다. 1억6,400만 매개변수의 자체 시각 인코더가 이전 모델에 쓰던 SigLIP2 인코더보다 연산을 3분의 1로 줄였고, 같은 품질의 기존 비전 트랜스포머 인코더보다 효율이 높다는 것이 회사 설명이다. 음성 모델은 18개 언어를 지원하고 글이나 소리를 입력받아 글, 음성, 또는 둘 다로 답하며, 말하는 동안 미리 처리해 첫 토큰까지 50밀리초 수준으로 줄였다고 밝혔다. 새 음성 토크나이저 리퀴드코덱은 M4 맥스의 CPU 한 스레드에서 실시간의 약 87배 속도로 음성을 합성한다고 적었다.

판단 전용 모델 d1은 답을 길게 쓰는 대신 상황과 질문 목록을 받아 한 번의 계산으로 모든 질문에 답하는 방식이다. 고객 문의, 송장, 앱 화면, 사진, 음성 메모 같은 입력을 분류하고 경로를 정하는 용도를 회사는 예로 들었다. 미세조정 사례로는 풍력 터빈 날개의 드론 사진 약 3,000장으로 몇 시간 학습해 결함 분류 정확도를 67%까지 올린 실험을 제시했는데, 이 역시 회사 자체 실험이다.

이용 조건은 꼼꼼히 봐야 한다. 모델 카드가 연결한 LFM 오픈 라이선스 v1.0은 저작권과 특허를 무상으로 허락하되 상업적 이용은 이용자 법인의 연 매출이 1,000만 달러 미만일 때로 제한한다. 기준을 넘는 법인의 상업적 이용은 이 라이선스로 허락되지 않으며, 비영리 조직의 비상업·연구 목적에는 기준이 적용되지 않는다. 지원 언어 16개에는 한국어가 포함돼 있다. 모델 카드는 추론 설정을 기본으로 켜 두되 이를 끄면 동작이 일정하지 않을 수 있다고 적었다.

이번 공개는 10월 16일 호에서 다룬 같은 회사의 LFM2.5-24B-A2B와는 다른 세대이자 다른 크기대의 발표다. 리퀴드 AI는 라마.cpp, MLX, vLLM, SGLang, ONNX 런타임용 변환본을 함께 올렸고 올라마와 LM 스튜디오로도 돌릴 수 있다고 안내했다. 활용을 검토한다면 자기 조직의 매출 기준과 작업 유형이 라이선스와 모델 카드의 권고 범위 안에 있는지 먼저 확인할 필요가 있다.