Z4 Zeta4 Now

AI

에이전트의 두뇌는 토큰 단가가 아니라 '과제 1건 비용'으로 고른다…Terra·Opus 5.5·Mercury 3 요금표와 단계별 라우팅

AI 에이전트를 만드는 7회 연재의 두 번째 편. 에이전트는 한 과제에 모델을 수십 번 부르므로 100만 토큰당 가격보다 과제 하나를 끝내는 데 드는 돈과 시간이 중요하다. OpenAI·Anthropic·Inception의 공식 요금표, GPT-6.1 Terra의 '작업당 9분의 1' 주장, 디퓨전 모델 Mercury 3, 단계별 모델 라우팅 연구로 모델 고르는 기준을 정리한다.

한눈에 보기

1회에서 에이전트를 모델, 실행 틀, 작업 공간의 세 층으로 나눴다. 이번 회는 맨 아래층인 모델을 고르는 법이다. 결론부터 말하면 벤치마크 순위표나 100만 토큰당 가격표만 보고 고르면 틀리기 쉽다. 에이전트는 과제 하나를 끝내려고 모델을 수십 번 부르고, 부를 때마다 앞선 대화와 도구 결과를 다시 입력으로 넣는다. 그래서 비교할 단위는 '토큰 1개'가 아니라 '과제 1건'이고, 그 과제를 성공시키는 데 든 돈과 시간이다.

10월에 나온 세 가지가 이 기준을 보여 준다. OpenAI는 GPT-6.1 Terra가 Claude Opus 5.5보다 토큰당 가격은 4분의 1, 토큰 효율은 3배 넘게 높아 작업당 비용이 약 9분의 1이라고 주장했다(OpenAI). Inception은 디퓨전 방식 언어 모델 Mercury 3를 내놓으며 초당 1,068토큰을 내세웠다(Inception). 9월 arXiv 논문 AgentRouter는 에이전트의 단계마다 모델을 바꿔 쓰면 최상위 모델만 쓸 때보다 비용을 72% 줄일 수 있다고 보고했다(arXiv). 세 주장 모두 발표 주체의 자체 측정이라는 점은 먼저 밝혀 둔다.

요금표부터: 같은 '100만 토큰'이 아니다

아래는 10월 30일 기준 각 회사 공식 요금표의 표준 API 가격이다. 단위는 100만 토큰당 달러다.

  • 모델 · 입력 · 캐시된 입력 · 출력 · 회사가 내세운 용도
  • GPT-6 Astra · 10 · 1.00 · 50 · OpenAI 최상위
  • GPT-6.1 Sol · 2 · 0.10 · 10 · OpenAI 상위
  • GPT-6.1 Terra · 1 · 0.05 · 5 · 컴퓨터 사용 중심 중간 모델
  • GPT-6 Luna · 0.10 · 0.01 · 0.50 · OpenAI 경량
  • Claude Opus 5.5 · 4 · 0.20 · 20 · 오래 도는 에이전트 코딩·지식 업무
  • Claude Sonnet 5.5 · 2 · 0.10 · 10 · 속도와 지능의 균형
  • Claude Haiku 5.5 · 0.10 · 0.01 · 0.50 · 분류·추출·라우팅 같은 대량·저지연 작업(10만 토큰 이하 프롬프트 기준)
  • Mercury 3 · 0.20(출시 할인 0.10) · 입력가의 10% · 0.70(출시 할인 0.35) · 실시간 음성·채팅·웹 탐색

출처: OpenAI API 요금, Claude API 요금, Inception

표만 보면 Terra와 Opus 5.5의 차이는 입력·출력 모두 4배다. 그런데 이 숫자를 그대로 비교하면 안 되는 이유가 세 가지 있다. 첫째, 토큰을 세는 자가 회사마다 다르다. Anthropic 요금 문서는 Claude 4.7 이후 모델의 새 토크나이저가 같은 텍스트에서 약 30% 더 많은 토큰을 만든다고 적었다. 같은 문서를 넣어도 청구되는 토큰 수가 다르다는 뜻이다. 둘째, 같은 과제를 풀 때 모델마다 생각하는 양과 도구를 부르는 횟수가 다르다. OpenAI의 '9분의 1' 주장은 토큰당 가격(4분의 1)에 토큰 효율(3배 이상)을 곱한 값이다. 셋째, 에이전트 비용의 큰 몫은 출력이 아니라 매번 다시 넣는 입력이고, 이 입력은 캐시 가격으로 청구될 수 있다. 캐시된 입력 가격은 Terra와 Opus 5.5가 일반 입력의 20분의 1, Astra가 10분의 1이다.

과제 1건 비용을 직접 계산해 보기

개념을 숫자로 옮겨 보자. 아래는 설명을 위한 가정 계산이고 실측이 아니다. 에이전트가 과제 하나에 모델을 30번 부르고, 부를 때마다 평균 2만 토큰을 입력으로 넣고 1천 토큰을 출력한다고 하자. 과제당 입력 60만 토큰, 출력 3만 토큰이다. 두 모델이 같은 양의 토큰을 쓴다고 가정하고, 캐시 쓰기 요금은 뺐다.

  • 가정 · GPT-6.1 Terra · Claude Opus 5.5
  • 캐시 없음 · 약 0.75달러 · 약 3.00달러
  • 입력의 90%가 캐시 적중 · 약 0.24달러 · 약 0.95달러

캐시만 제대로 써도 같은 모델의 과제당 비용이 3분의 1 안팎으로 떨어진다. 에이전트의 실행 틀이 시스템 프롬프트와 도구 정의를 매번 같은 순서로 앞에 두는지, 대화 기록을 중간에서 고쳐 써서 캐시를 깨뜨리지 않는지가 모델 교체만큼 비용을 좌우한다는 뜻이다. 이 문제는 4회(기억과 컨텍스트)에서 다시 다룬다.

다음은 성공률이다. 과제당 0.24달러인 모델이 절반만 성공하면 성공 1건에 0.48달러가 들고, 0.95달러인 모델이 90% 성공하면 성공 1건에 약 1.06달러가 든다. 여기까지는 싼 모델이 낫다. 하지만 실패한 절반을 사람이 다시 확인하고 고치는 시간이 들어가면 계산이 뒤집힐 수 있다. 실패가 조용히 틀린 결과로 남는 일이라면 더 그렇다. 그래서 모델 비교의 마지막 줄은 '성공 1건당 비용 + 실패 처리 비용'이어야 한다.

외부 측정도 이 방식으로 바뀌고 있다. 독립 평가 기관 Artificial Analysis는 Terra를 평가하며 지능 지수 전체를 돌리는 데 든 과제당 비용을 0.40달러(GPT-5.6 Terra는 1.40달러)로 따로 적었다(Artificial Analysis). 자세한 수치는 GPT-6.1 Terra 출시 기사에 있다. 다만 이 평가에는 Claude 모델과의 비교가 없어, Opus 5.5 대비 '9분의 1'은 아직 OpenAI 자체 측정뿐이다.

속도도 비용이다: 디퓨전 모델 Mercury 3

에이전트는 매 단계 모델의 응답을 기다린다. 한 번에 3초면 30단계에 1분 30초가 모델 대기 시간이다. 사람이 화면 앞에서 기다리는 상담·음성·검색 에이전트라면 이 지연이 곧 품질이다. OpenAI가 Terra를 소개하며 GPT-6 Astra·GPT-6.1 Sol보다 3배 넘게 빨리 작업을 끝낸다고 강조한 것도 같은 맥락이다(OpenAI).

Inception이 10월 19일 공개한 Mercury 3는 다른 방식으로 속도를 낸다. 일반 언어 모델은 토큰을 왼쪽부터 하나씩 만들지만(자기회귀 방식), 디퓨전 언어 모델은 여러 토큰을 한꺼번에 거칠게 만든 뒤 여러 번 다듬는다. Inception은 Mercury 3가 NVIDIA GPU에서 초당 1,068토큰을 내고, 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5를 앞서며 4~8배 빠르다고 밝혔다. 컨텍스트는 100만 토큰이고 OpenAI API와 호환된다. 초기 파트너 TinyFish는 자사 웹 에이전트 실행 틀에서 실제 웹사이트 탐색 과제(Mind2Web) 50개를 돌려 Mercury 3가 절반을 끝냈고, GPT-6.1 Sol보다 훨씬 많이 성공했다고 말했다(Inception).

이 수치는 모두 회사와 파트너의 자체 측정이다. 속도를 잰 조건(동시 요청 수, 추론 수준)이 발표문에 없고, 이 글을 쓰는 시점에 독립 기관의 Mercury 3 속도 측정은 확인하지 못했다. 그래도 방향은 분명하다. 응답 지연이 사용자 경험을 결정하는 에이전트라면 '가장 똑똑한 모델'보다 '충분히 똑똑하면서 가장 빠른 모델'이 맞는 답일 수 있다.

한 모델로 다 하지 않기: 단계별 라우팅

에이전트의 한 과제 안에도 어려운 단계와 쉬운 단계가 섞여 있다. 계획을 세우거나 실패 원인을 추론하는 단계에는 최상위 모델이 필요하지만, 도구 결과에서 값을 뽑거나 형식을 맞추는 단계는 작은 모델로 충분하다. 그런데 기존 라우팅 도구는 질문 하나를 통째로 큰 모델과 작은 모델 중 어디로 보낼지만 정했다.

9월 19일 arXiv에 올라온 AgentRouter 논문(ICML 2026 AgenticUQ 워크숍 채택)은 이 단위를 '에이전트 궤적의 각 단계'로 쪼갰다. 1,200만 파라미터짜리 작은 분류기가 단계마다 다섯 가지 특징을 보고 네 등급의 모델 중 하나를 고르며, 단계당 지연은 A100 GPU에서 5밀리초 미만이다. 계획·코딩·조사·데이터 분석 과제의 5만 개 단계로 학습했고, 최상위 모델만 쓰는 경우보다 비용을 72% 줄이면서 품질의 97.3%를 유지했다고 저자들은 보고했다. 같은 벤치마크에서 기존 기법 RouteLLM과 FrugalGPT를 단계별로 적용하면 절감 폭이 각각 31%, 44%였다. 등급별 라우팅 정확도는 가장 쉬운 단계에서 91%, 중간·최상위 등급에서 76~82%였다(arXiv). 저자 두 명이 만든 벤치마크와 학습 데이터로 낸 결과라 다른 업무에 그대로 옮겨지리라는 보장은 없다.

만드는 사람에게 실용적인 교훈은 정확도 숫자보다 구조에 있다. 쉬운 단계를 맞히는 정확도는 높고 어려운 단계를 맞히는 정확도는 낮다. 그러니 라우터가 애매하면 큰 모델로 올리는 쪽으로 기울이고, 작은 모델의 결과는 검증 단계를 거치게 해야 한다. Anthropic이 Haiku 5.5의 용도로 '라우팅'을 직접 적어 둔 것처럼, 라우터 자체도 작은 모델이 맡는 일이다.

어떤 일에 큰 모델, 어떤 일에 작은 모델

  • 단계 성격 · 예 · 모델 선택 기준
  • 계획·분해 · 과제를 하위 작업으로 나누기, 다음 행동 정하기 · 상위 모델. 여기서 틀리면 뒤 단계 전체가 헛돈다
  • 실패 복구 · 도구 오류나 예상 밖 결과의 원인 추론 · 상위 모델로 올린다
  • 화면·도구 조작 · 양식 채우기, 클릭, API 호출 인자 만들기 · 컴퓨터 사용·도구 호출 평가가 좋은 중간 모델
  • 추출·분류·형식 변환 · 도구 결과에서 값 뽑기, JSON 정리, 요약 · 경량 모델. 스키마 검증으로 받친다
  • 실시간 응대 · 음성·채팅 상담, 검색 답변 · 지연 시간이 짧은 모델. 어려운 질문만 상위로 넘긴다
  • 최종 검토 · 외부로 보내기 전 결과 확인 · 실행 모델과 다른 모델이나 규칙 기반 검사

모델을 고르기 전에 확인할 것을 체크리스트로 정리하면 이렇다.

  • 우리 과제 20~50개로 후보 모델을 직접 돌려 과제당 토큰 수, 단계 수, 걸린 시간, 성공률을 기록했는가. 벤치마크 순위는 후보를 좁히는 데만 쓴다.
  • 비교 단위를 '성공 1건당 비용'으로 잡고, 실패를 사람이 처리하는 비용까지 넣었는가.
  • 캐시 적중률을 따로 재고 있는가. 시스템 프롬프트와 도구 정의를 고정된 앞부분에 두는가.
  • 추론 수준(낮음·중간·최대)을 바꿔 가며 쟀는가. Artificial Analysis는 Terra의 비용 대비 효율이 가장 좋은 설정을 '낮음'과 '중간'으로 봤다.
  • 응답 지연이 사용자 경험을 좌우하는 일인지, 몇 시간 뒤에 결과만 보면 되는 일인지 구분했는가. 후자라면 OpenAI 요금표에 따로 있는 Flex/Batch 요금처럼 즉시 응답이 필요 없는 작업용 처리 방식을 검토할 수 있다.
  • 모델을 갈아 끼울 수 있게 실행 틀을 짰는가. 이번 달의 최적 모델이 다음 달에도 최적이라는 보장은 없다.

모델을 골랐다면 다음은 그 모델에 손발을 다는 일이다. 함수 호출, MCP, 화면 조작 가운데 무엇을 언제 쓸지는 3회에서 다룬다.

확인할 점

  • GPT-6.1 Terra의 'Claude Opus 5.5 대비 작업당 약 9분의 1' 비용과 '3배 속도'는 OpenAI 자체 측정이다. Artificial Analysis의 독립 평가에는 Claude와의 비교가 없다.
  • Mercury 3의 초당 1,068토큰, GPT-6 Luna·Claude Haiku 5.5 대비 우위, TinyFish의 Mind2Web 결과는 Inception과 파트너의 자체 측정이다. 독립 기관의 속도 측정은 확인하지 못했다.
  • AgentRouter의 72% 절감과 97.3% 품질 유지는 저자들의 벤치마크와 학습 데이터 기준이다.
  • 과제 1건 비용 계산 표는 설명을 위한 가정이다. 실제 비용은 모델별 토큰 사용량, 토크나이저, 캐시 쓰기 요금, 도구 호출 요금에 따라 달라진다.
  • 요금은 10월 30일 각 회사 공식 요금 문서 기준이다. Mercury 3의 출시 할인가는 종료 시점이 발표문에 없다.

출처

  • Introducing GPT-6.1 Terra — OpenAI
  • Pricing — OpenAI API
  • Pricing — Claude Platform Docs
  • Diffusion at Scale: Introducing Mercury 3 — Inception
  • AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows — arXiv
  • GPT-6.1 Terra pushes the cost efficiency frontier — Artificial Analysis

이 글은 공개 출처를 바탕으로 AI가 자동 생성한 초안을 검토해 발행했으며, 중요한 판단 전에는 연결된 원문을 확인해야 합니다.

사실과 다른 내용이 있나요? 정정·반론 요청