구글 토치TPU(TorchTPU) 공개, 파이토치(PyTorch) 모델을 TPU에서 직접 실행

이번 발표의 중심은 파이토치가 TPU를 직접 실행 대상으로 인식하는 경로다. 구글은 연산을 즉시 실행하는 이거 모드(eager mode)에서 모델을 살피고, 이후 컴파일 기능으로 실행을 최적화하는 흐름을 제시했다. 코드를 분석할 때와 실제 서비스에 넣을 때 같은 개발 체계를 이어 쓰도록 설계한 것이다. 공개 대상은 새로운 언어 모델이 아니라 모델을 움직이는 소프트웨어 기반이다.

이 변화의 배경은 허깅페이스(Hugging Face)의 설명에서 드러난다. 기존 파이토치/XLA 경로는 계산을 모았다가 실행하는 방식이어서 코드가 실제로 동작하는 시점과 재컴파일을 이해하기 어려운 면이 있었다. 허깅페이스는 이를 보완하기 위해 옵티멈 TPU(Optimum TPU)를 제공해 왔으나, 새 통합에서는 트랜스포머스(Transformers)와 디퓨저스(Diffusers)를 실행하기 위해 그 별도 계층이 필수는 아니라고 설명했다.

통합은 텍스트 생성에 그치지 않는다. 허깅페이스는 디퓨저스의 이미지·영상 파이프라인에서도 TPU를 실행 장치로 지정하고, 필요할 때 컴파일을 적용하는 구성을 공개했다. 같은 이미지 크기의 후속 호출은 이미 만든 실행 그래프를 재사용한다. 이는 첫 실행에 필요한 준비 시간과 반복 처리 속도를 구분해야 한다는 뜻이기도 하다. 공개 시연의 소요 시간을 모든 해상도나 모델의 보장 속도로 읽어서는 안 된다.

대규모 언어 모델을 서비스하는 브이엘엘엠(vLLM) 쪽에서는 별도 플랫폼 플러그인이 공개됐다. 개발팀에 따르면 기존 vLLM의 모델 실행부와 스케줄러, 중간 계산 저장 관리, API 서버를 유지하고 그 아래에 TPU 전용 연산을 붙인다. 모델 정의와 서비스 앞단을 함께 다시 작성하는 범위를 줄이는 접근이다. 개발팀은 대부분의 기존 지원 모델을 TPU로 가져오는 것을 목표로 제시했다.

다만 플러그인이 설치됐다고 준비 비용이 사라지지는 않는다. vLLM 발표문은 TPU 가상머신과 파이썬(Python) 3.12를 요구하며, 최초 기동 때 설정한 입력 형태에 맞는 그래프를 컴파일하느라 몇 분이 걸릴 수 있다고 설명한다. 컴파일 결과를 재사용하는 저장 기능도 제공한다. 운영 관점에서는 첫 요청 지연과 이후 처리량을 나눠 보아야 하는 이유다.

검증 범위도 구체적이다. vLLM 팀은 v7x에서 변경 요청마다 자동 검사를 수행한다고 밝혔지만, 이전 세대 세 가지는 실험 지원으로 남겨 뒀다. 새 모델이 공개된 뒤 24시간 안에 자동 검증 결과를 내놓는 체계는 앞으로의 계획에 들어 있다. 따라서 이번 공개를 모든 새 모델에 대한 출시 당일 지원 보장으로 확대할 수는 없다.

허깅페이스 역시 통합 상태를 완성으로 포장하지 않았다. TPU에서 실행한 테스트 가운데 96.5%가 통과했고, 보고한 문제 34건 중 19건이 수정됐다고 공개했다. 이 비율은 해당 테스트 집합의 결과이며 전체 모델의 성공률이 아니다. 사용자 입장에서는 라이브러리 이름이 지원 목록에 있다는 사실과 자신이 쓰는 모델·연산 조합이 검증됐다는 사실을 구분할 근거가 생겼다.

공식 저장소에는 공개 패키지 0.2.0과 파이썬 3.11 이상 지원, 아파치 2.0(Apache 2.0) 라이선스가 안내돼 있다. 기반 도구와 그 위에 연결하는 프로그램의 요구 버전은 서로 다를 수 있다. 토치TPU 자체의 최소 조건만 보고 상위 추론 도구까지 같은 환경에서 된다고 판단할 수 없으며, 실제 의존성은 선택한 조합을 따른다.

학습 쪽에서는 토치타이탄(TorchTitan)과의 연결도 발표됐다. 구글은 대규모 분산 학습을 위한 구성을 소개하고, 레이(Ray)에는 데이터 처리·학습·추론 작업을 여러 종류의 계산 장치에 배치하는 지원을 추가했다고 밝혔다. 추론 서버 하나의 이식에 그치지 않고 모델을 학습하고 운영하는 여러 단계에서 같은 도구를 유지하려는 흐름이다. 다만 강화학습 도구의 일부 연동과 TPU 에이전트 도구군은 미리보기로 소개돼, 모든 구성 요소가 동일한 성숙도에 도달한 것은 아니다.

이번 변화의 산업적 의미는 가속기의 선택지를 소프트웨어 생태계 안으로 가져왔다는 데 있다. 구글의 칩을 쓰려는 조직이 모델 코드와 도구를 얼마나 재사용할 수 있는지가 하드웨어 사양 못지않게 중요해졌다. 다만 이번 자료에는 모든 GPU 대안과 동일 조건으로 비교한 가격·성능 결론이 없으므로, 공개 자체를 비용 절감의 실증으로 해석할 수는 없다.