코히어(Cohere), 리랭크 5(Rerank 5)에 문서 속 관련 구절 추출 추가

리랭크는 검색 시스템을 통째로 대신하는 생성형 챗봇이 아니다. 먼저 찾아온 문서와 질문을 받아 의미상 관련성이 높은 순서로 정리하는 단계다. 모델 문서는 키워드 검색·벡터 검색·두 방식을 섞은 검색 위에 이 단계를 붙일 수 있다고 설명한다. 질문과 관계없는 자료를 답변 모델에 넘기기 전에 걸러내는 역할이므로, 검색 결과가 많을수록 무엇을 최종 답변의 근거로 남길지가 중요해진다.

이번 출시에서 코히어는 복잡한 질문과 전문 문서에 프로를, 많은 검색을 빠르게 처리하는 작업에 패스트를 배치했다. 두 모델 모두 100개 이상 언어를 지원하며 한국어도 주요 지원 언어에 포함된다. 다만 프로와 패스트의 성능 우열을 특정 한국어 업무의 실측 결과로 해석할 근거는 없다. 회사가 제시한 용도 구분과 개별 데이터에서의 결과는 별도로 봐야 한다.

컨텍스트 포커스의 결과는 새로 작성한 요약문이 아니다. API 규격에 따르면 반환값에는 원문에서 해당 구절이 시작하고 끝나는 문자 위치와 관련성 점수가 들어간다. 문서 순위와 구절 위치를 한 번의 요청으로 얻는 구조다. 이 때문에 구절을 화면에 표시할 때도 모델이 다시 쓴 문장인지 확인하는 문제보다, 원문 어느 부분을 골랐는지 추적하는 문제가 중심이 된다.

반환할 구절의 수와 관련성 점수의 하한도 조절할 수 있다. 모델 문서는 점수 하한을 높이면 더 적은 텍스트가 남고, 문서당 반환할 구절 수도 제한할 수 있다고 설명한다. 기준을 충족하는 구절이 없으면 해당 결과에는 구절 목록이 생략된다. 검색 결과 문서가 반환됐다고 발췌문까지 반드시 제공되는 것은 아니다. 이 기능은 코히어 API에서 제공되며 기본값은 꺼짐이다.

긴 문서 지원에는 특히 주의할 구분이 있다. 모델의 문맥 한도는 질문과 문서를 합쳐 32,768토큰이다. 그러나 현재 API 규격은 문서별 입력 한도를 기본 4,096토큰으로 두고, 이를 넘는 문서는 설정값에 맞춰 자른다고 명시한다. 모델이 긴 내용을 처리할 능력이 있다는 설명이 모든 요청에서 문서 끝까지 자동으로 읽는다는 약속은 아니다. 뒤쪽 근거가 입력에서 제외되면 구절 추출도 그 내용을 되살릴 수 없다.

운영 조건 문서는 5세대 모델의 요청당 문서 수 상한을 1만 개로 안내한다. 한편 API 문서는 성능을 위해 한 번에 1,000개를 넘기지 않을 것을 권고한다. 이는 서로 다른 기준이다. 앞의 수치는 요청을 허용하는 한계이고, 뒤의 수치는 처리 성능을 고려한 권장 규모다. 문서 수가 허용 범위 안이라고 응답 시간까지 보장되는 것은 아니다.

표나 기록 형태의 자료도 문자열로 전달할 수 있다. 운영 문서는 구조화된 자료를 YAML 형식의 문자열로 표현하고 항목 순서를 보존할 것을 권한다. 긴 입력이 잘릴 수 있어 중요한 내용이 어느 위치에 오는지가 결과에 영향을 주기 때문이다. 데이터 형식을 지원한다는 말만으로 원래 표의 관계나 문서 전체 의미를 빠짐없이 이해한다고 단정할 수는 없다.

코히어는 질문·분야 사이에서 점수를 비교하기 쉽도록 보정했다고 발표했지만, 관련성 점수는 내용이 사실일 확률을 뜻하지 않는다. 검색 질문에 잘 맞는 문서라도 내용 검증은 별개다. 이번 변화의 의미는 답변 모델에 전달하는 자료의 범위를 더 세밀하게 정할 수 있다는 데 있다. 토큰 사용량이나 비용이 얼마나 줄어드는지는 실제로 선택되는 구절과 후속 모델의 요금에 달려 있으며, 모든 업무에 적용되는 절감률은 확인되지 않았다.