서지 AI, 전문 세무 업무 평가 공개…최고 통과율 10.8%

평가는 개인·가족, 중소기업, 동업기업, 부동산과 투자, 상속·신탁, 국제 업무, 기업 거래, 검토와 분쟁 등 여덟 분야를 다룬다. 전체 작업 공간에는 1,789개 파일이 있고 과제당 중앙값은 30개다. 자료를 많이 읽는 능력만이 아니라 어떤 기록이 판단을 바꾸는지 찾아내는 능력을 시험한다는 것이 서지 AI의 설명이다.

결과표에서 소넷 5.5 다음은 클로드 페이블 5.1의 9.6%, 클로드 오퍼스 5.5의 9.2%였다. 이 수치는 한 시도가 채점 항목의 최소 95%를 만족했는지를 기준으로 집계한 pass@1이다. 여러 번 시도해 한 번이라도 성공하면 통과로 보는 방식과 다르다. 숫자를 소개할 때 평가 문턱을 함께 말해야 모델의 부분적인 성과와 최종 완성도를 구분할 수 있다.

발표는 계산을 맞게 하고도 중요한 조건을 놓치는 사례를 제시한다. 고객이 선택한 두 일정만 비교하고 그 뒤에 도래하는 중요한 기한을 놓치거나, 기록에 의문이 있는데도 하나의 가정을 사실처럼 받아들이는 식이다. 이는 평가용 사례이며 실제 고객 피해가 확인됐다는 보도는 아니다. 평가가 주목하는 것은 문장 생성보다 조사 범위와 판단의 일관성이다.

공개 데이터 설명에는 자료 제작 방식도 나와 있다. 세무 전문가가 실제 업무 흐름을 바탕으로 과제와 기대 결과, 채점 기준을 만들었으며, 실무 양식을 본뜬 합성 문서가 포함된다. 발표에 따르면 각 과제는 정확성·완결성·해결 가능성을 세 차례 검토했다. 실제 납세자의 자료 전체를 그대로 공개한 시험으로 설명해서는 안 되는 이유다.

현재 누구나 내려받는 공개 표본은 두 과제다. 전체 50개를 평가하려면 제공사에 별도로 접근을 요청해야 한다. 공개 표본의 결과만으로 전체 점수를 재현했다고 말할 수는 없으며, 작은 표본에서 잘한 모델이 전체에서도 같은 순서를 보장하지는 않는다. 공개 범위와 발표된 평가 규모가 다르다는 조건은 결과의 확인 가능성을 판단하는 데 중요하다.

실행 환경은 문서와 표를 처리할 수 있는 리눅스 작업 공간이다. 자료 설명은 과제 실행 중 네트워크 접근을 명시적으로 허용된 모델 API 주소로 제한하고, 웹 탐색과 패키지 내려받기를 막는다고 적었다. 따라서 일반 사용자가 검색창과 여러 웹서비스를 자유롭게 오가는 상황과는 조건이 다르다. 시험에서 제공한 기록을 어떻게 읽고 활용했는지에 초점이 맞춰져 있다.

이 결과는 AI에게 계산을 맡기는 일과 전문 업무 전체를 맡기는 일이 다른 평가를 필요로 함을 보여준다. 계산 중간값이 맞아도 조사해야 할 쟁점이 빠지면 최종 조언은 불완전할 수 있다. 반대로 낮은 과제 통과율만 보고 자료 정리나 초안 작성의 모든 효용이 사라졌다고 해석하는 것도 과도하다. 시험의 단위가 전체 산출물이라는 점을 함께 보아야 한다.

기업이 에이전트 도입 효과를 판단할 때도 완료 여부를 세분화할 필요가 있다는 시사점이 있다. 파일을 읽었는지, 필요한 근거를 찾았는지, 불확실한 정보를 구분했는지, 최종 결과물에 제대로 반영했는지는 서로 다른 단계다. 데이잡 택스는 이 단계들을 묶어 높은 기준으로 평가했다. 발표된 점수는 세무 자동화의 완성을 선언하기보다 남아 있는 검토 부담을 드러낸다.