CUELO 하네스 벤치마크

어려운 과제 · 안전 장치 새로 만들고 실제로 연결하기

한 줄 요약: 같은 AI(Opus 5.5)를 쓸 때 CUELO는 Claude Code보다 시간 ▲ 42% 더 빠름, AI 사용량 = 비슷함, API 환산 요금 ▲ 6% 더 쌈, 정답률은 같음.

조건 차이 주의: 이 칸의 Codex는 3회 중 2회 하위 AI에게 구현을 맡겼다(실행 기록의 하위 AI 대기 호출 15회·8회와 "구현을 위임" 메시지, 나머지 1회는 혼자). 이 Codex 결과는 측정 조건 수정 전에 잰 것이라 과제 폴더의 우리 규칙 파일(위임 규칙 포함)이 Codex에도 읽혔고, 그 규칙을 따른 것이다. CUELO는 조건 수정 뒤 혼자 한 결과다. Codex의 하위 AI 사용량은 기록에 따로 남지 않아 사용량·요금이 실제보다 적게 잡혔을 수 있다.

묶음 과제(2개) · 서로 다른 수정 두 개 한 번에

한 줄 요약: 같은 AI(Opus 5.5)를 쓸 때 CUELO는 Claude Code보다 시간 ▲ 10% 더 빠름, AI 사용량 ▼ 20% 더 씀, API 환산 요금 ▼ 16% 더 비쌈, 정답률은 같음.

묶음 과제(3개) · 서로 다른 수정 세 개 한 번에

한 줄 요약: 같은 AI(Opus 5.5)를 쓸 때 CUELO는 Claude Code보다 시간 = 비슷함, AI 사용량 ▼ 35% 더 씀, API 환산 요금 ▼ 26% 더 비쌈, 정답률은 같음.

보통 과제 · 기존 기능 하나 고치기

한 줄 요약: 같은 AI(Opus 5.5)를 쓸 때 CUELO는 Claude Code보다 시간 ▼ 6% 더 느림, AI 사용량 ▼ 38% 더 씀, API 환산 요금 ▼ 43% 더 비쌈, 정답률은 같음.

대규모 과제 · 스프레드시트 계산 엔진 새로 만들기

한 줄 요약: 같은 AI(Opus 5.5)를 쓸 때 CUELO는 Claude Code보다 시간 ▲ 10% 더 빠름, AI 사용량 = 비슷함, API 환산 요금 ▲ 8% 더 쌈, 맞힌 테스트 비율 CUELO 98.3% · Claude Code 97.5%.

초대형 과제 · 서로 독립인 패키지 6개 새로 만들기

한 줄 요약: 같은 AI(Opus 5.5)를 쓸 때 CUELO는 Claude Code보다 시간 ▼ 53% 더 느림, AI 사용량 ▲ 24% 덜 씀, API 환산 요금 ▲ 19% 더 쌈, 정답률은 같음.

조건 차이 주의: 이 칸의 Claude Code는 혼자 한 것이 아니다. 스스로 하위 AI 6개를 병렬로 불러 패키지를 나눠 맡겼다(세션 기록의 subagent 6개, AI 누적 작업 시간 2,528초 대 실제 16분 24초). CUELO도 위임을 골랐지만 당시 설정 오류로 발주가 실패해 혼자 직렬로 처리했다. 그래서 이 표의 시간 차이는 도구 성능이 아니라 직렬 대 병렬의 차이다. 같은 병렬 조건인 CUELO 전부 위임(개선 후)은 16분 13초로 Claude Code 16분 24초와 비슷했다(요금은 $13.47 대 $8.73).

메인 혼자 할 때 vs 전부 나눠 맡길 때

무엇을 비교했나: "메인 혼자"는 메인 AI가 하위 AI 없이 직접 구현한 경우다. 기록상 대부분 하위 AI를 쓰지 않았지만 예외가 둘 있다. 초대형 과제의 Claude Code는 스스로 하위 AI 6개를 병렬로 불렀고, 어려운 과제의 Codex는 3회 중 2회 하위 AI에게 구현을 맡겼다(당시 과제 폴더의 규칙 파일이 보인 조건). 초대형 과제의 CUELO는 위임을 시도했으나 당시 설정 오류로 하위 AI 후보를 받지 못해 혼자 직렬로 했다. "전부 위임"은 직접 고치지 말고 하위 AI(Maker·서브에이전트)에게 맡기라고 강제한 경우다. 비교 칩은 같은 도구의 메인 혼자 결과 대비다. 하위 AI 모델이 다르면 토큰 단가가 수십 배 다르므로 "AI 사용량"이 아니라 "API 환산 요금"으로 비교한다. Codex는 하위 AI의 사용량이 기록에 따로 나오지 않아 사용량·요금이 실제보다 적게 잡혔을 수 있다. Claude Code는 실행 기록에 중간 도구 호출이 남지 않아 실제 위임 여부를 확인하지 못했다. Codex 보통 과제 위임 2회는 하위 AI 생성 오류(도구 자체 문제)로 코드를 전혀 고치지 못해 표에서 뺐다.

묶음 과제(3개) · 서로 다른 수정 세 개 한 번에

어려운 과제 · 안전 장치 새로 만들고 실제로 연결하기

보통 과제 · 기존 기능 하나 고치기

대규모 과제 · 스프레드시트 계산 엔진 새로 만들기

초대형 과제 · 서로 독립인 패키지 6개 새로 만들기

하위 AI를 소형 모델로 바꾸면 돈은 어디로 가나 · 묶음 과제(3개)

메인은 Opus 5.5로 두고 하위 AI 모델만 바꿨다. 공식 단가가 Opus의 1/40인 GPT-6 Luna를 쓰면 총 요금이 $6.81에서 $3.37로 ▲ 50% 줄어듦, 대신 시간은 9분 40초에서 25분 4초로 2.6배 걸렸다. 하위 AI 몫은 $0.15(총액의 4%)뿐이고, 나머지는 느린 하위 AI를 기다리며 검수한 메인 Opus 비용이다. 그래서 절감 폭이 단가 차이보다 작다.

어려운 과제에서도 Luna 하위 AI는 $2.90(하위 AI 몫 $0.18)로 Opus 하위 AI $4.47보다 쌌지만, 1회뿐이고 숨김 테스트 195/196로 만점을 놓쳤다. 비용 분해는 세션 기록 토큰을 공식 단가로 다시 계산한 값이며 런타임 기록 요금과 일치한다.

무엇을 고쳤나 (문제 → 고친 것 → 효과)

1. 문서 카탈로그를 필요 시 조회로 이동

   문제: 쓰지 않는 문서 목록을 매 요청마다 싣고 있었다.

   첫 요청 크기(토큰) — 짧을수록 좋음
   33,743 → 31,267 (-7%)
2. 위임 규칙을 발주 직전에만 로드

   문제: 하위 AI를 부르지 않는 대부분의 작업에서도 위임 규칙 전체를 읽고 있었다.

   첫 요청 크기(토큰) — 짧을수록 좋음
   31,267 → 28,891 (-8%)
3. 독립 읽기 묶음 · 거절된 편집 재전송 규칙

   문제: 파일을 하나씩 따로 읽고, 편집이 거절되면 다시 읽느라 요청 수가 늘었다.

   보통 과제 AI 사용량 (GPT-6 Luna, 3회 가운데 값) — 짧을수록 좋음
   181,000 → 137,000 (-24%)
4. 측정 조건 결함 수정

   문제: 과제 폴더의 규칙 파일(약 3.5만 자)이 CUELO와 Codex에만 자동으로 읽혀 요청마다 약 2.8만 토큰이 더 들었다. 모든 도구에서 숨겨 조건을 맞췄다.

   어려운 과제 CUELO 시간(초) — 짧을수록 좋음
   530 → 395 (-25%)
5. 규칙 문서를 영어 사본으로

   문제: 한국어 규칙은 토큰당 약 1.2자라 같은 내용이 영어보다 3~4배 비쌌다. 원문이 바뀌면 사본 대신 원문을 싣는다.

   규칙 두 파일 크기(토큰) — 짧을수록 좋음
   9,167 → 6,606 (-28%)
6. 브라우저·데스크톱 도구 설명을 필요 시 읽기

   문제: 코드 작업에서는 거의 쓰지 않는 도구 설명 1.4만 자를 매 요청에 싣고 있었다.

   첫 요청 크기(토큰, 실험 사본) — 짧을수록 좋음
   48,676 → 43,050 (-12%)
7. 장기 프로세스 설명을 필요 시 읽기

   문제: 서버·감시 프로세스를 띄울 때만 필요한 설명이었다.

   첫 요청 크기(토큰, 실험 사본) — 짧을수록 좋음
   43,050 → 42,280 (-2%)
8. 출력 한도 64K 제한 풀기

   문제: 긴 과제에서 AI가 생각만 하다 응답 한도 64K에 걸려 코드 한 줄 못 쓰고 끊겼다(613초 손실). 공식 한도 128K를 쓰게 했다.

   초대형 과제 전부 위임 CUELO 시간(초) — 짧을수록 좋음
   1,539 → 973 (-37%)
9. 끊긴 생각을 버리지 않고 이어 가기

   문제: 한도에 걸려 끊기면 기록 요약이 그 생각을 지워, AI가 같은 고민을 처음부터 다시 했다(421초). 문맥이 작으면 요약 대신 짧은 안내를 붙여 이어 간다.

   같은 과제에서 한도 중단 횟수 — 짧을수록 좋음
   1 → 0 (-100%)
10. 첫 요청 고정부 재측정(Opus)

    문제: 매 요청에 싣는 규칙·도구 설명이 Claude Code보다 컸다. 지난 축소 작업들의 누적 효과다.

    첫 요청 크기(토큰, Opus 5.5) — 짧을수록 좋음
    46,705 → 27,496 (-41%)