사카나 AI, ‘MASS’ 자기개선 연구 소개…연구 지표 개선과 코딩 지표 하락 함께 공개

열린 연구 과제는 정답 하나나 자동 규칙으로 결과를 평가하기 어렵다. 답을 만든 모델이 스스로 좋은 결과를 고르면 오류를 성과로 오인할 수 있다. MASS는 이 상황에서 역할을 나눠 수행한 팀의 경험이 더 나은 학습 신호가 될 수 있는지를 다룬 연구다.

기본 모델은 큐원 3.6 27B(Qwen3.6-27B)다. 같은 모델이 실제 작업을 푸는 실행자, 팀의 구성을 찾는 최적화자, 결과를 비교하는 평가자를 맡는다. 서로 다른 제품의 모델을 섞어 강점을 합치는 구성과는 구분된다. 모델은 같고 주어진 역할과 작업 흐름이 달라지는 방식이다.

안쪽 반복은 모델의 가중치를 고정한 상태에서 역할 분담과 정보 전달을 바꿔 본다. 바깥 반복은 선택한 팀의 실행 기록을 학습해 모델 자체를 갱신한다. 더 좋은 요청문을 찾는 과정과 학습으로 능력을 바꾸는 과정이 연결되지만, 두 단계가 같은 작업은 아니다.

연구진은 금융·로봇·약학 분야의 합성 연구 과제 12개를 구성했다. 9개는 학습 대상으로 정했고 그중 8개가 실제 학습 기록을 제공했다. 3개는 후속 학습과 검증·체크포인트 선택에서 제외했다. 다만 작업 흐름 탐색은 이 시험 과제에서도 평가했다고 밝혀, 모든 단계에서 완전히 손대지 않은 과제라는 뜻은 아니다.

연구형 과제의 개선이 코딩으로 그대로 옮겨가지는 않았다

두 차례 반복 후 MLR-Bench, DSBench, ScienceAgentBench, AstaBench의 출력 토큰당 점수가 1.2~1.6배로 높아졌다. 이 값은 결과 점수를 출력량으로 나눈 효율 지표다. 원점수가 모두 같은 배수로 올랐다거나 작업의 총비용과 시간이 같은 비율로 줄었다는 의미는 아니다.

반면 Terminal-Bench 2.0은 0.96배, SWE-bench Verified는 0.94배였다. 연구형 과제와 비슷한 평가에서 강점이 나타나도 소프트웨어 작업으로의 전이는 고르지 않았다는 결과다. 개선된 모델이라는 말 하나보다 어느 과제와 어떤 지표가 달라졌는지를 보는 편이 연구의 실제 범위에 가깝다.

연구진은 결과를 밖에서 평가하는 데 GPT-5.5와 클로드 오퍼스 4.8(Claude Opus 4.8)을 사용했고, 이 판단을 MASS의 자기 감독 과정에는 전달하지 않았다고 설명했다. 내부 선택과 외부 비교를 나눈 구성이다. 다만 외부 평가도 언어모델의 판단이며 전문가의 현장 검증이나 실제 실험의 성공과 같은 자료는 아니다.

같은 모델이 여러 역할을 맡으면 서로 다른 시각을 요청할 수 있지만 학습에서 형성된 공통 오류까지 독립적인 것은 아니다. 그 오류를 긍정적으로 평가한 기록이 다음 학습에 들어가면 편향을 반복할 수 있다. 연구진도 이런 맹점을 발견하고 개입하는 방법이 필요하다고 밝혔다.

MASS의 공개는 AI의 자기개선을 무제한 성능 상승으로 설명하기보다 학습 신호와 평가 범위를 구체화한다. 역할을 나누는 구성, 반복 학습, 능력의 전이를 별도로 관찰했다는 점이 연구 가치다. 현재 확인된 결과는 제한된 반복에서의 특정 지표 변화이며 장기적인 자율 발전의 안전성을 입증한 것은 아니다.