클라우드플레어, 워커스 AI 정보 노출 보고…9월 수정한 사고 경위 공개

회사 보고에서 노출된 응답은 모두 입력이 68만1,280토큰보다 길었다. 서비스는 최대 104만8,576토큰의 문맥을 받도록 설정돼 있었지만, 입력을 먼저 처리하는 GPU의 캐시 공간은 그보다 작았다. KV 캐시는 앞서 처리한 내용을 재계산하지 않도록 보관하는 중간 계산 결과다. 회사는 출시 전에 용량 불일치를 알았지만, 시험에서 정상 응답 코드가 나와 문제없다고 판단했다고 밝혔다.

거절된 긴 요청은 중단되지 않고 짧은 대체 입력으로 바뀌었다. 응답 생성 쪽은 이를 원래 입력의 계산 결과로 받아들여, 덮어쓰지 않은 메모리 속 이전 요청 내용까지 읽었다. 학습 중 외운 정보를 내놓은 경우와는 발생 경로가 다르다.

SGLang 개발팀의 설명은 영향을 받은 실행 구조를 구분한다. 입력을 처리하는 단계와 답변을 생성하는 단계를 다른 작업 서버에 나눠 두고, 그 사이로 캐시를 전송하는 구조에서 문제가 발생했다. 한 서버에서 처리하는 경로는 해당 입력 거절 시 오류를 반환했다. 따라서 같은 엔진을 사용한다는 사실만으로 모든 운영자가 이번 사고와 같은 상태였다고 판단할 수 없다.

개발팀은 별개로 캐시 메모리의 재사용 시점도 보강했다. 요청이 취소되더라도 이미 출발한 서버 간 메모리 전송이 즉시 멈추는 것은 아니다. 목적지 공간을 먼저 다른 요청에 배정하면 뒤늦게 도착한 데이터가 새 요청의 내용을 덮을 수 있다. 이를 막는 방향은 전송이 끝났다는 확인을 받을 때까지 공간을 유지하는 것이다. 다만 정해진 대기 시간이 끝났다는 사실만으로 전송 완료가 증명되는 것은 아니라는 조건도 설명했다.

수정 기록에서는 두 변경의 역할을 나눠 볼 수 있다. 9월 6일 병합된 변경은 중단된 입력 처리의 마지막 결과가 돌아왔을 때 자원을 정리하고 종료 결과를 한 번만 전달하도록 한다. 원래 설명은 이미지 입력을 처리하는 단계에서 잘못된 결과가 나와 요청이 중단되는 경우를 다룬다. 클라우드플레어와 개발팀은 이 변경이 이번 노출을 막는 앞선 수정이었다고 연결했다.

9월 16일 병합된 후속 변경은 이미 거절된 요청이 서버 간 인계에 들어가기 전에 멈추도록 했다. 해당 기록은 앞선 수정 이후에는 정보 노출 증상이 재현되지 않으며, 후속 변경의 목적은 불필요한 처리와 지연을 줄이는 것이라고 명시한다. 수정 목록에 이름이 올라 있다는 이유로 모든 변경을 각각 새로운 정보 유출 취약점의 패치로 묶어서는 안 된다.

후속 변경에는 남는 한계도 적혀 있다. 두 작업 서버 중 한쪽만 요청을 거절하는 비대칭 구성에서는 상대편의 대기가 남을 수 있고, 이 변경 자체로 정확도나 성능 벤치마크를 주장하지 않았다. 이는 보안 수정의 적용 범위를 읽는 데 필요한 정보다. 이번 공동 공개는 긴 문맥 지원을 입력 한도라는 숫자로만 설명할 수 없으며, 오류와 취소가 서버 사이에서 어떻게 전달되는지도 서비스 격리를 좌우한다는 점을 보여준다.