CUELO

평가 자료 목록으로

GPT-6.1 Terra·Sol·Opus 5.5 비교

2026년 10월 26일에 출시된 GPT-6.1 Terra가 CUELO에서 맡을 역할을 정하기 위해 GPT-6.1 Sol, Opus 5.5와 같은 조건에서 비교했습니다. 코딩의 mega-six 과제에서 Terra는 패키지 6개 중 4개만 구현하고 일찍 멈췄습니다(숨김 테스트 585/960개 통과). Sol은 957/960개를 통과했습니다. 작은 글자 OCR에서는 Terra(138/153)가 문자를 일관되게 정규화해 틀렸고 Opus 5.5(149/153)가 더 많이 맞혔습니다.

코딩

위임 없이 단독으로 큰 코딩 과제를 수행할 때 GPT-6.1 Terra(high)와 GPT-6.1 Sol(high)의 테스트 통과 수, 소요 시간, 토큰 사용량이 어떻게 다른지 확인했습니다.

조건

  • 내장 omp 코어 18.13.0에서 격리 설정으로 비대화형 CLI(omp -p --no-session)를 실행했습니다. 두 모델 모두 추론 강도는 high, 제한 시간은 90분입니다.
  • 도구를 read, bash, edit, write, find, grep, eval, todo로 제한해 위임(task)과 ask를 막았습니다.
  • 이 옵션은 skim, cross_review 같은 확장 도구를 막지 않아 모델이 호출할 수 있었습니다.
  • large-sheet 과제는 명세서를 보고 TypeScript와 Bun으로 스프레드시트 수식 엔진(파서, 평가기, 의존성 그래프, 구조 편집, CSV)을 구현하며 사후 숨김 테스트 200개로 채점합니다.
  • mega-six 과제는 독립 패키지 6개(스프레드시트, 마크다운, JSON 스키마, cron, semver, diff)를 명세서대로 구현하며 사후 숨김 테스트 960개로 채점합니다.
  • 과제당 모델별 1회씩 순서를 번갈아 연속 실행했습니다(한 과제는 Sol 다음 Terra, 다른 과제는 Terra 다음 Sol).
막대는 숨김 테스트 통과 수와 걸린 시간, API 단가 환산 비용을 나타냅니다. Sol 시간 막대의 빗금 부분은 cross_review 결과를 기다린 시간입니다.

large-sheet

숨김 테스트 통과 (200개 중)

Terra
199/200
Sol
198/200

걸린 시간

Terra
128초
Sol
1,348초

API 단가 환산 비용

Terra
$0.146
Sol
$0.756

mega-six

숨김 테스트 통과 (960개 중)

Terra
585/960
Sol
957/960

걸린 시간

Terra
171초
Sol
1,118초

API 단가 환산 비용

Terra
$0.251
Sol
$1.057
  • cross_review 대기 시간

결과

  • large-sheet에서 Terra는 128초 만에 199/200개(환산 비용 $0.146)를 통과했습니다. Sol은 1,348초 만에 198/200개($0.756)를 통과했습니다.
  • mega-six에서 Terra는 171초 동안 패키지 6개 중 4개만 구현해 585/960개($0.251)를 통과했고 작업이 미완성이라고 보고하고 멈췄습니다. Sol은 1,118초 만에 957/960개($1.057)를 통과했습니다.
  • Sol은 스스로 cross_review를 호출해 다른 모델의 리뷰를 기다리는 데 533초(large-sheet)와 394초(mega-six)를 썼습니다. 이를 뺀 실행 시간은 815초와 724초입니다. 요청당 평균 응답 시간은 Terra가 약 6~7초, Sol이 약 22~24초였습니다.
과제 · 모델통과걸린 시간검토 대기요청 수요청당 시간(초)출력 토큰추론 토큰비용
large-sheet · Terra199/200128초0초186.410,318427$0.146
large-sheet · Sol198/2001,348초533초3324.134,2869,636$0.756
mega-six · Terra585/960171초0초217.115,5211,297$0.251
mega-six · Sol957/9601,118초394초3221.945,0667,936$1.057

한계

  • 과제당 모델별 1회(n = 1)만 실행해 편차를 알 수 없습니다. mega-six에서 Terra가 일찍 멈춘 것이 모델의 경향인지 우연인지 이 데이터만으로는 판단할 수 없습니다.
  • 2026년 9월 30일에 측정한 Sol 기록이 있지만 실행기와 omp 코어 버전이 달라 기준선으로 쓰지 않았습니다.

이미지 읽기

omp 코어의 이미지 질문 경로에서 Terra(low, high)가 현재 비전 모델인 Opus 5.5(low)를 대체할 수 있는지 확인했습니다.

조건

  • 2026년 10월 18일 조사와 같은 omp 코어 이미지 질문 경로를 썼고 정답지도 바이트 단위로 동일하게 재생성했습니다.
  • 합성 이미지 4장(게임 스타일 능력치 화면, 일부러 틀리게 그린 빨간 박스가 있는 같은 화면, 홍보 배너, 작은 문서 표)과 질문 유형 8가지를 썼습니다.
  • Opus 5.5 low, Terra low, Terra high를 각 3회씩 실행해 총 72회 호출했고 오류는 0건이었습니다.
3회 실행을 합산해 작은 글자 OCR 153개 중 맞힌 개수와 호출당 응답 시간 중앙값입니다.

작은 글자 OCR 정답 수 (153개 중)

Opus 5.5 low
149/153
Terra low
138/153
Terra high
138/153

응답 시간 중앙값

Opus 5.5 low
4.0초
Terra low
2.3초
Terra high
3.2초

결과

  • 3회 합계 기준 좌표 찾기(27/27)와 박스 검수(12/12)는 세 후보 모두 전부 맞혔습니다. 응답 시간 중앙값은 Terra low 2.3초, Terra high 3.2초, Opus 5.5 low 4.0초였습니다.
  • 작은 글자 OCR은 Opus 5.5가 149/153개, Terra low와 Terra high가 둘 다 138/153개를 맞혔습니다. 3회 모두 똑같은 답을 낸 OCR 문항은 Opus 5.5가 3개 중 1개, Terra는 두 강도 모두 3개 중 3개였습니다.
  • Terra의 오독은 Lv.45를 Lv45로, ×12를 x12로 읽거나 일부러 비슷하게 만든 회사 이름을 더 흔한 철자로 바꾸는 식의 일관된 정규화였습니다. 오답은 배너의 작은 글자에 몰렸습니다(Terra 15/24 대 Opus 24/24).
모델좌표박스 검수작은 글자 OCR3회 모두 같은 답응답 시간 중앙값
Opus 5.5 low27/2712/12149/1531/34.0초
Terra low27/2712/12138/1533/32.3초
Terra high27/2712/12138/1533/33.2초

한계

  • 실제 화면이 아닌 합성 이미지 한 세트만 사용해 측정했습니다.

데스크톱 조작

Windows 창을 열고 값을 입력한 뒤 상태를 읽어오는 데스크톱 조작 과제를 Terra(high)와 Opus 5.5(high)가 정확히 수행하는지 확인했습니다.

조건

  • 새 Windows 문자표(Character Map) 창을 열고 "복사할 문자" 칸에 가Ω→42를 입력한 뒤 칸의 값과 선택된 글꼴 이름을 읽고 창을 열어 둔 채 JSON 한 줄로 끝내는 과제입니다.
  • 실행 명령은 omp -p --mode json --tools=eval,read,bash,windows_control이고 추론 강도는 high입니다.
  • Terra, Opus, Opus, Terra 순서로 총 4회 실행했습니다. 매 실행 뒤 Main 에이전트가 직접 창 컨트롤을 읽어 독립 채점하고 해당 창만 닫았습니다.
실행 순서(Terra, Opus, Opus, Terra)대로 나타낸 회차별 소요 시간입니다.

회차별 걸린 시간(초)

1 · Terra
38초
2 · Opus 5.5
43초
3 · Opus 5.5
53초
4 · Terra
30초

결과

  • 네 번의 실행 모두 입력값과 글꼴(Arial), 보고한 창이 일치했습니다.
  • Terra는 1회차에 38초(도구 호출 6회, 오류 0회), 4회차에 30초(8회, 오류 0회)가 걸렸습니다. Opus는 2회차에 43초(9회, 오류 1회), 3회차에 53초(10회, 오류 0회)가 걸렸습니다.
회차모델결과걸린 시간도구 호출도구 오류
1GPT-6.1 Terra일치38초60
2Opus 5.5일치43초91
3Opus 5.5일치53초100
4GPT-6.1 Terra일치30초80

한계

  • 쉬운 과제 하나를 모델당 2회만 실행했습니다. 원격 데스크톱 창이나 파일 탐색기 같은 더 어려운 대상은 측정하지 않았습니다.

데이터 및 출처

요약 숫자는 이 페이지 옆의 data.json에 있습니다. 원본 실행 기록과 기기 정보가 담긴 프롬프트, 계정 정보는 공개하지 않습니다. 표와 차트의 비용은 토큰 수에 카탈로그 단가를 곱한 환산값이며 구독을 사용해 실행했으므로 실제 청구액이 아닙니다.