CUELO

CUELO 평가 자료

CUELO 관리자가 CUELO를 만들면서 직접 측정한 자료를 모았습니다. 각 자료는 명시된 조건에서 질문 하나에 답합니다.

읽는 법

자료마다 과제와 모델, 도구 버전, 실행 횟수가 달라서 숫자를 서로 비교할 수 없고 전체 순위도 없습니다. 각 항목에 질문과 조건, 결과, 한계를 함께 적었습니다. 원본 실행 기록은 공개하지 않습니다.

자료 목록

  1. GPT-6.1 Terra·Sol·Opus 비교

    측정일
    언어
    한국어, 영어
    질문
    새로 나온 GPT-6.1 Terra가 CUELO에서 어떤 역할을 맡을지 정하려고 GPT-6.1 Sol, Opus 5.5와 비교했습니다.
    조건
    코딩 과제 2개를 각 1회, 합성 이미지 4장 읽기를 각 3회, Windows 문자표 조작을 각 2회 실행했습니다.
    결과
    Terra는 large-sheet에서 숨김 테스트 199/200개를 통과했고 데스크톱 조작을 2회 모두 마쳤습니다. 하지만 mega-six에서는 6개 중 4개만 구현하고 멈췄습니다. 작은 글자 OCR은 Opus 5.5(149/153)가 Terra(138/153)보다 많이 맞혔습니다.
    한계
    코딩은 과제당 1회만 실행해 편차를 알 수 없습니다. 이미지 읽기는 합성 이미지 한 세트만 썼고 데스크톱 조작은 쉬운 과제 1개만 각 2회 측정했습니다.
  2. CUELO skim 역할 후보 모델 비교

    측정일
    언어
    한국어
    질문
    여러 소스 파일을 읽고 질문에 답하는 CUELO의 skim 역할에 대해 DeepSeek V4.1 Flash 1017, Argon, Haiku 5.5, GPT-6 Luna, GPT-6.1 Terra 모델을 비교합니다.
    조건
    omp core 18.13.1의 실제 skim 호출 경로에서 두 개의 정적 질문 세트를 동일한 입력 바이트와 순환 호출 순서로 각 5회 반복 실행했습니다. 순수 JSON 배열만 형식 준수로 인정했습니다. 답변은 Main 에이전트가 사전 작성된 기준표에 따라 블라인드 없이 판정했습니다.
    결과
    GPT-6.1 Terra, GPT-6 Luna, Argon은 모든 평가 항목에서 소스와 일치하는 답변을 냈습니다. 응답이 더 빠른 DeepSeek V4.1 Flash 1017과 Haiku 5.5는 일부 모순되거나 불필요한 unknown 답변을 냈습니다. Main 에이전트는 지연 시간 범위가 겹치는 Terra와 Luna를 추천 후보로 골랐고 이 측정으로 바꾼 설정은 없습니다.
    한계
    두 질문 세트를 5회 반복한 결과여서 일반 코딩 모델 순위로 해석할 수 없고 제공자 빌드 지문도 확인하지 않았습니다. 지연 시간에는 네트워크 및 API 변동, 캐시 상태, 모델별 추론 설정 매핑 차이가 섞여 있어 지연 시간 차이를 인과 관계로 볼 수 없습니다.
  3. Maker 후보 6종 코드 유지보수성 평가

    발행일
    언어
    한국어
    질문
    하위 에이전트 구현자(Maker) 후보 모델 6종 중 어느 모델이 나중에 고치기 쉬운 코드를 작성하는지 확인했습니다.
    조건
    스프레드시트 수식 엔진 과제 1개를 6개 모델이 각 3회 수행했습니다. 타사 모델 3종의 AI 코드 리뷰(L1)와 후속 작업자의 실제 변경 과제 2건(L3)으로 채점했습니다.
    결과
    AI 리뷰는 상위 3종(GPT-6.1 Sol 76.2, DeepSeek V4.1 Flash 75.2, Opus 5.5 74.5)과 하위 3종(GPT-6 Astra 72.0, Daybreak Blue 70.3, Sonnet 5.5 68.4)으로 나뉘었으나 그룹 내 회차 점수는 겹칩니다. 실제 변경 점수는 모두 98.8~99.6점이고 AI 리뷰와의 순위 상관관계는 ρ = −0.03입니다.
    한계
    과제 1개를 모델당 3회만 실행했고 실제 변경 점수에 천장 효과가 나타났습니다. AI 리뷰가 수정 용이성을 예측하는지 알 수 없으며, 순위가 VulcanBench와 반대여서 일반화할 수 없습니다.
  4. 하네스 비교: CUELO·Claude Code·Codex

    발행일
    수정일
    언어
    한국어
    질문
    같은 모델과 같은 코딩 과제에서 모델을 감싸는 도구가 결과를 바꾸는지 확인했습니다.
    조건
    단일 기능 수정부터 6개 독립 패키지 구현까지 코딩 과제 6개를 총 76회 실행했습니다. 사후 숨김 테스트로 채점하고 반복 실행의 중앙값과 API 단가 환산 비용을 구했습니다.
    결과
    어려운 과제에서 Opus 5.5를 썼을 때 CUELO는 정답률이 같으면서 Claude Code보다 42% 빨리 끝났습니다. 1차 측정 후 병목을 고쳐 다시 쟀을 때 6개 패키지 위임 과제 시간은 25분 39초에서 16분 13초로 줄었습니다.
    한계
    단일 기능 수정 과제에서는 CUELO의 API 환산 비용이 Claude Code보다 43% 높았습니다. 단독 실행으로 표시했지만 실제로 하위 에이전트를 쓴 실행은 표에 따로 표시했습니다.