앤트로픽, METR에 내부 평가 접근 확대…발표 거부권 없이 결과 공개

앤트로픽은 METR 팀에 회사 장비와 사무 공간, 내부 도구 접근을 제공했다고 설명했다. 외부 기관이 제한된 질문에 답하는 방식에서 개발 과정의 정보를 더 깊이 확인하는 형태로 이동한 것이다. 다만 내부 직원과 유사한 접근이라는 표현에도 명시적인 예외가 있다. 모든 자료를 제한 없이 열람한다는 뜻으로 해석해서는 안 된다.

평가 결과의 공개 권한도 중요한 조건이다. 회사는 정해진 범주의 민감한 정보에 대해 삭제를 요구할 수 있다. METR은 삭제된 내용을 드러내지 않는 범위에서 그 요구가 정당했는지 의견을 공개할 수 있다. 결론 전체를 막을 권한과 특정 정보를 가릴 권한을 나눴다는 점이 이번 협력의 특징이다.

모델 점수 밖의 위험을 보는 평가

METR이 공개한 위험 평가 안내는 모델의 정답률만을 다루지 않는다. 내부 에이전트의 유해 행동을 감지할 수 있는지, 학습 과정이 문제의 흔적을 감출 가능성이 있는지, AI가 내부 연구 속도를 얼마나 바꾸는지 등을 평가 대상으로 제시한다. 모델이 주어진 시험에서 높은 점수를 얻는 것과 조직이 운영 중의 위험을 알아차리는 능력을 별개의 문제로 보는 접근이다.

이 기관은 기존에도 개발사의 위험 보고서를 외부에서 검토했다. 공개 목록에는 앤트로픽의 내부 에이전트 감시 체계를 시험한 작업과 위험 보고서 검토가 포함돼 있다. 따라서 이번 조치를 외부 평가가 처음 시작된 사건이라고 보기는 어렵다. 기존 검토 경험을 바탕으로 지속적인 내부 접근을 넓혔다는 데 변화가 있다.

METR은 자사 평가 업무에 대해 보수를 받지 않는다고 안내하는 한편, 일부 개발사로부터 모델 접근과 토큰을 제공받는다는 점도 공개한다. 독립성은 회사와 아무 관계가 없다는 말만으로 설명되지 않는다. 평가 자원에 접근하는 관계와 판단을 공개하는 권한이 어떻게 설정됐는지 함께 봐야 한다는 것이 이 구조에서 읽을 수 있는 쟁점이다.

권한의 범위와 실제 보고서는 구분해야

앤트로픽은 평가기관에 부여하는 접근과 발표 권한을 세 단계로 나누고 있다고 밝혔다. METR과 같은 수준으로 모든 파트너를 운영하는 것은 아니다. 외부 평가에 참여한다는 기관 이름만으로 같은 정보를 검토하거나 같은 공개 권리를 갖는다고 추정할 수 없다. 발표의 효과는 각 협력의 구체적인 범위에 달려 있다.

기업이 AI를 구매할 때도 이런 구분은 의미가 있다. 외부 평가를 받았다는 표시만으로는 어떤 위험을 어떤 조건에서 확인했는지 알기 어렵다. 실제 보고서가 나오면 평가 대상, 접근하지 못한 자료, 관찰 기간을 함께 읽어야 결론이 자신의 이용 환경에 얼마나 적용되는지 판단할 수 있다. 이는 이번 제도의 효용에 대한 해석이며 이미 검증된 효과를 뜻하지 않는다.

현재 확인된 것은 접근 확대와 공개 원칙이다. 그 접근이 새로운 문제를 얼마나 찾아내는지, 회사의 운영 결정에 어떤 변화를 만드는지는 앞으로 공개될 평가에서 확인할 부분이다. 이번 조치는 모델 개발사가 가진 정보와 외부 독자가 볼 수 있는 정보 사이의 간격을 줄이려는 시도로 읽힌다.