클레어릭(Clairic), 문서의 값과 불확실성을 반환하는 추출 모델 공개
클라우드플레어(Cloudflare)가 10월 19일 워커스 AI(Workers AI)에 클레어릭 미리보기를 공개했다. 이름·날짜·금액 같은 값을 입력에서 찾아 정해진 자료형으로 반환하는 모델이다. 회사는 추출뿐 아니라 계산과 추정도 지원한다고 설명했으며, 내려받을 수 있는 가중치 공개는 앞으로의 계획으로 남겼다.
자세히
클레어릭의 출발점은 문서 업무에서 반복되는 작은 질문이다. 회사는 모델이 자유 서술을 이어 쓰지 않고 한 차례의 계산으로 필요한 값을 구하는 구조라고 설명했다. 청구서에서 합계를 찾는 일과 답변 메일을 작성하는 일을 같은 생성 모델에 맡길 필요가 있는지 묻는 접근이다. ‘시스템 원’이라는 분류명은 이러한 빠른 판단 방식을 설명하기 위한 개발사의 표현으로, 별도의 공인 품질 등급은 아니다.
공식 모델 문서에는 실제 서비스 식별자와 사용 범위가 실려 있다. 텍스트와 이미지로부터 값을 처리하며 현재 상태는 미리보기다. 공개 호스팅 서비스의 존재는 확인되지만, 모델 파일을 내려받아 사내 서버에 설치하는 제공 방식은 이번 공개에 포함되지 않는다. 입력 단위 요금이 공개됐다는 사실과 자체 운영 비용을 계산할 수 있다는 사실도 구분할 필요가 있다.
응답은 질문마다 원하는 형태를 지정하는 방식이다. 추출 모델 개념 문서는 입력에 이미 존재하는 값을 찾는 추출, 주어진 사실로 새 값을 구하는 계산, 아직 결정되지 않은 결과를 예측하는 추정을 나눈다. 같은 숫자 필드라도 원문에서 가져온 금액과 미래에 낼 것으로 추정한 금액은 근거의 성격이 다르다. 자료형이 같다고 동일한 확실성을 갖는 것은 아니다.
출처를 되짚는 기능도 있다. 추출한 문자열에는 입력의 어느 위치에서 가져왔는지 나타내는 구간 정보가 붙는다. 값이 없다고 판단하면 단일 값 필드는 비어 있는 결과를 반환할 수 있다. 다만 공식 문서는 이것이 실제 정보 부재뿐 아니라 모델이 정보를 찾지 못한 경우일 수도 있다고 설명한다. 문서 처리에서 원문과 결과를 연결하는 단서가 생기는 셈이지만, 누락 여부의 최종 판단까지 자동으로 보증하지는 않는다.
추정값은 또 다른 주의가 필요하다. 문서에 따르면 추정과 예측은 입력 정보가 적어도 값을 반환할 수 있으며, 확률분포의 가운데 80%에 해당하는 범위를 제공한다. 반환 범위를 제한해도 실제 결과가 그 안에 존재한다는 보장은 없다. 이 구분은 문서의 사실을 옮기는 작업과 불확실한 미래를 예상하는 작업을 하나의 자동 처리 단계로 섞지 않도록 하는 데 의미가 있다.
처리 단위는 문맥 상한과 구분해야 한다. 모델 소개표에는 6만5,536토큰이 적혀 있지만 같은 문서의 필드 설명은 입력 옆에 함께 담을 질문이 8,192토큰의 한 처리 단위에 들어가지 않으면 질문 필드를 여러 병렬 처리로 나눈다고 안내한다. 응답 예제에도 입력 토큰과 처리 횟수가 따로 표시돼 있다. 두 수치의 관계를 문서가 충분히 설명하지 않아, 긴 입력 자체도 같은 방식으로 나눠 처리한다고 단정할 수 없다. 출력 토큰을 생성하지 않는 구조여도 요청당 처리 횟수와 입력 토큰 사용량은 별도로 살펴야 한다.
개발사는 현재 버전이 여러 단계에 걸친 산술과 많은 표 행의 집계에 약하다고 밝혔다. 또한 전문 시계열 모델을 대체하는 장기 예측 도구로 설계하지 않았다고 선을 그었다. 회사가 제시한 활용 구상도 추출 모델이 값을 구하고, 결정 모델이 행동을 선택하며, 생성 모델이 글을 쓰는 분업이다. 편집 관점에서 남는 쟁점은 단계 사이의 오류 전달이다. 분업만으로 잘못 추출된 값이 뒤 단계의 판단에 쓰이는 문제까지 해결되지는 않는다.
- 무엇이 달라지나
- 자유로운 문장을 생성한 뒤 다시 구조화하는 대신, 응용 프로그램이 사용할 값과 신뢰도 정보를 받는다. 공식 모델 문서는 문맥 6만5,536토큰과 입력 100만 토큰당 0.10달러를 제시한다.
- 한계
- 형식이 올바르다는 것과 내용이 맞다는 것은 별개다. 개발사는 복잡한 연쇄 계산과 장기 예측의 한계를 인정하며, 낯선 데이터에서는 예측 구간이 지나치게 좁아질 수 있다고 밝혔다.