Cost per task: Using cheap classifiers to route across Gemini models and thinking levels
LLM 에이전트 운영 시 비용 절감을 위해 고성능 모델 대신 경량 분류기를 활용한 모델 라우팅 전략을 제안합니다.
- 토큰당 가격보다 '성공적인 작업당 비용'이 중요하며, 단순 작업은 경량 모델로, 복잡한 작업만 고성능 모델로 라우팅해야 합니다.
- 단순 키워드 기반 휴리스틱은 에이전트의 복잡한 작업에서 성능이 급락하므로, 구조화된 출력을 지원하는 경량 분류기(Jev 등) 사용이 효과적입니다.
- 모델의 출력 토큰 제한(maxOutputTokens)은 사고 비용을 줄이지 못하므로, thinkingLevel 설정을 통해 직접 제어해야 합니다.