"Opus 4.8이 생각보다 잘한다" · 느낌이 아니라 측정이 맞았다
질문을 정확히 하면: "Fable 5가 떠나도(7/7) 하위 티어 모델로 품질이 유지되는가, 그것은 하네스 덕인가?" 앞 절반은 이미 실측으로 답이 나왔습니다. 변별 4과제에서 opus·gpt-5.5·haiku-low 전원이 fable과 게이트 동률(4/4)이었고, 차이는 품질이 아니라 효율(토큰·시간)뿐이었습니다. 뒤 절반("하네스 덕인가")은 아직 대조군이 없어 미증명이며, 이 리포트의 6장이 그것을 2주 안에 답할 실험 설계입니다. 외부 연구는 같은 방향을 강하게 지지합니다.
이 과제군에서 등화는 사실
클린 하네스·xhigh 조건, holdout 게이트 포함 4과제에서 후계 후보 전원이 fable과 정확성 동률. 퇴역으로 잃는 것은 "가능 여부"가 아니라 효율. 단 N=1: regatta 리포트 스스로 "단정 금지" 명기.
"하네스 덕분"은 아직 미증명
동률 실측은 클린 하네스(keystone 규칙 미주입 셀)에서 나온 것이다. 즉 "이 난이도에선 프런티어 모델들이 원래 동급"일 가능성과 "하네스가 격차를 흡수했다"가 아직 분리되지 않음. 하네스 on/off 대조 실험이 필요(6장).
업계 증거는 가설을 강하게 지지
더 약한 모델+좋은 스캐폴드가 플래그십+기본 스캐폴드를 이긴 사례(Confucius), 같은 모델로 42→78% 스윙, "약한 모델일수록 하네스로 메꿀 갭이 크다"(HarnessX). 방향은 확실, 크기는 우리 과제로 측정할 것.
읽는 법 · 신뢰도 라벨
모델 사실관계 주의: Fable 5·Mythos 5 관계는 Anthropic 공지 기반(Fable = Claude 5 첫 모델, Opus 위 Mythos급 티어의 안전조치 부가판, Mythos는 승인 조직 전용)이나, 공지 페이지 fetch가 Fable 5 세이프가드에 오탐 차단되어 원문 재확인은 미수행 모름(부분). Opus 4.8 가격($5/$25, fast $10/$50)은 웹 복수 소스 확인 검증됨(웹).
02등화 스택 · "하위 모델도 품질 영향 없게" 만들어놓은 것
모델 위에 여섯 층이 얹혀 있습니다. 각 층은 특정 실패 모드를 흡수하도록 설계됐고, 이 구조가 "모델을 갈아끼워도 되는" 이유의 가설입니다.
외부 이론과의 정합: Harness-Bench(arXiv)의 명제 · "에이전트 성능은 모델 단독이 아니라 실행 시스템에 박힌 모델의 속성". 이 스택이 그 실행 시스템입니다. 실전 방증(오늘): 이 리포트 생성 중 서브에이전트 11개가 429 전 계정 소진을 맞았을 때, ①층(재시도)로는 부족했고 메인 루프가 직접 수행으로 폴백해 완주. 층은 만능이 아니라 각자의 실패 모드만 흡수합니다 검증됨
03내부 실측 · regatta가 이미 잰 것4런 완료
"같은 코스, 다른 배". 동일 과제·exit-code 게이트(판정에 LLM 무개입)로 모델·런타임을 비교하는 개인 평가 하네스. 이틀(7/2–3) 만에 v0→v1.2, 아래는 전 런 요약입니다.
런 총람
| 런 (7/3) | 구성 | 결과 | 발견 |
|---|---|---|---|
| 3-way 교차 | opus·haiku(claude) × gpt-5.5(codex) × 기본 10과제 | 30/30 전 셀 통과 · 토큰 opus 1,242k vs haiku 1,638k vs gpt 1,286k | 벤더 중립 과제 포맷 실증 · 게이트 변별력 0 확인 |
| 변별 게이트 v1 | holdout 3과제 × 3조합 | 9/9 통과 · 정확성 동급, 효율은 최대 2.1배 차 (opus 261k vs gpt 123k) | holdout이 하드코딩 8건·순진 합산 2건 실제 차단 · 도구는 준비됨 |
| 로스터 레이스 | models.json 6항목(모델 4 × effort 2) × 3과제 | 18/18 통과 · 토큰: gpt-low 423k < gpt 431k < opus 742k < haiku-low 809k < haiku 951k < sonnet 1,271k | effort 실측: xhigh가 이 난이도에서 게이트 결과를 못 바꿈 (opus krw 244k→364k, 동일 3/3) |
| Fable 퇴역 기준선 | 변별 4과제 × fable·opus·gpt-5.5·haiku-low (xhigh) | 전원 4/4 · 아래 프론티어 차트 | 퇴역의 손실 = 품질 아닌 효율. fable이 opus보다 토큰·시간 모두 효율적이었다는 의외의 기록 |
이 하네스가 잘한 것
- 판정에서 LLM 배제: exit-code 게이트만, 원장 리플레이 diff-0 재현 검증됨
- 거짓 변별을 스스로 적발: opus·haiku 동반 fail의 원인이 모델이 아니라 스펙 모호성(규칙 3·4 충돌)이었음을 포렌식으로 규명, 무모호화 후 원 구현 그대로 11/11 통과. "변별 게이트의 최대 리스크는 난이도 부족이 아니라 거짓 변별" 검증됨
- holdout 메커니즘 검증: 보이는 테스트 하드코딩 8건 차단 실측 · 진짜 약한 모델이 오면 잡을 도구 준비 완료 검증됨
- keystone 쪽 기준선도 박제: Fable 전환 시점 하네스 건강 지표(replay 24/24 · friction 4 · dead 2.6% · rules 120/430KB) 고정 + 7/8 Opus 첫 세션 delta 체크리스트 예약 · delta 0이면 "하네스는 모델 비종속" 실증 검증됨
아직 못 잰 것
- N=1: 전 런이 단발. 인용 가능한 결정 근거가 되려면
--repeat 3검증됨(자인) - 난이도 상한: 프런티어급 전원이 만점이라 정확성 축 변별 불가. 필요: 더 어려운 과제 또는 진짜 구형/소형 모델 검증됨
- 하네스 축이 없음: 모든 셀이 "클린 하네스"라서 keystone 스택의 기여도가 미측정 · 6장의 실험이 이것 추론
- 실전 작업과의 괴리: 과제는 30분 내 단위 작업. 하루짜리 실전 개발("Opus가 잘하더라"의 실제 맥락)은 아직 계측 밖 모름
04외부 근거 · 스캐폴드가 격차를 지운 사례들
"하네스가 모델 격차를 흡수한다"는 2026년 벤치마크 담론의 중심 발견입니다. 우리 가설의 사전 확률을 크게 올려주지만, 우리 환경의 크기는 직접 재야 합니다.
| 사례 | 수치 | 시사점 |
|---|---|---|
| Confucius Code Agent (Meta·Harvard) | Sonnet 4.5 + 맞춤 스캐폴드 52.7% > Opus 4.5 + 기본 스캐폴드 52.0% (SWE-bench Pro) | 약한 모델 + 좋은 하네스 > 플래그십 + 기본 하네스 · 가설의 직접 사례 |
| 동일 모델 · 3개 에이전트 시스템 | 같은 Opus 4.5로 50.2–55.4% (5.2pt 스프레드) · Scale 분석 10–20pt 스윙 | 하네스는 모델 업그레이드급 변수 |
| 스캐폴딩 단독 효과 | 같은 모델 42%→78% · 기본 23%→최적화 45%+ · LangChain Terminal-Bench 52.8→66.5% | 하네스 개선의 기대 수익이 모델 교체보다 클 수 있음 |
| 컨설팅 사례 | Sonnet→Opus 업그레이드 대신 스캐폴드 재구축으로 완료율 34%→71% | "상위 티어 구매" 전에 하네스 점검이 순서 |
| HarnessX (arXiv 2606.14249) | "약한 모델일수록 하네스 편집으로 해소 가능한 행동 갭이 많다" | 등화 가설의 이론적 근거: 상위 모델일수록 하네스 한계효용 감소 |
| 프런티어 수렴 | 상위 6개 모델이 SWE-bench Verified 0.8pt 내 밀집 · 벤더 자체 스캐폴드 vs 표준화 보드 17.3pt 괴리 | "프런티어 간 선택"은 품질보다 효율·비용 문제로 이동 · 우리 4/4 동률 실측과 정합 |
종합: 외부 증거는 "이 하네스 투자(keystone 5개월)가 모델 티어 하향의 보험"이라는 해석을 지지합니다. 단 전부 타인의 과제·타인의 하네스에서 나온 수치. 우리 결론은 우리 계측(regatta)으로 추론
05등화가 안 되는 곳 · 정직한 경계
"하위 모델도 품질 영향 없다"를 전 영역으로 일반화하면 그때부터 거짓이 됩니다. 게이트가 못 보는 곳과 구조적 한계를 명시합니다.
구조적으로 등화 밖인 것
- 게이트 밖 품질. exit-code가 못 재는 것 · 코드 우아함, 설계 감각, 문장 결. "통과 동률"이 "산출물 동질"은 아님 추론
- 디자인·기획의 정성 축. 프리미엄·탈AI 기준은 스크린샷 자가평가(사람 게이트) 의존 · 하네스가 흡수 못 하는 대표 영역 추론
- 하네스를 만드는 작업 자체. 게이트 설계·스펙 무모호화·포렌식은 최상위 판단력이 필요한 메타 작업 · 등화 스택의 생산자는 등화 대상이 아님 추론
- 컨텍스트 소화력. 이 맥북 실측: 홈 아래 cwd에서 전역 주입 ~222K → 200K 창 모델은 시작조차 불가. 등화 이전에 "입장 가능" 문제 · regatta가 셀을 $HOME 밖에 두는 이유 검증됨
이번 증거의 한계
- N=1 · 과제 4종의 대표성: 재현율·편차 미측정 검증됨(자인)
- 클린 하네스 조건: keystone 스택 기여도가 분리 안 됨 (인과 공백) 추론
- 토큰 산정 런타임별 상이: 교차 벤더 토큰은 근사 검증됨
- "Opus가 개발 잘하더라"는 관찰의 교란변수: 7월의 Opus 세션들은 diet(−55.6%) 이후 환경이다. 모델이 좋아진 게 아니라 컨텍스트가 깨끗해진 효과일 수 있음. 7/8 재측정이 이 혼동을 풀 첫 데이터 추론
06측정 설계 v1 · "진짜 효과가 있는지" 인과로 답하기제안
질문 "진짜로 효과가 있는지 볼 수 있나?"에 대한 공학적 답: 볼 수 있고, 도구의 9할이 이미 있습니다. 없는 것은 하네스 on/off 축 하나입니다.
실험 설계 · 2×4×3 요인
| 축 | 수준 | 구현 |
|---|---|---|
| 하네스 | 클린(현행 regatta 셀) vs keystone-full(규칙 53종+스킬 주입 셀) | 셀 워크스페이스에 .claude/ 프로파일 주입 여부 · 러너 계약 무변경, 과제 스펙 무수정 추론(구현 전) |
| 모델 | opus-4.8 · sonnet-5 · haiku-4.5(low 포함) · gpt-5.5 | models.json 현행 로스터 그대로 검증됨 |
| 과제 클래스 | 기계 수정 · 표준 구현(holdout) · 검증 필요 리뷰 | 현행 10+변별 3과제 재사용 + 난이도 상향 1–2종 신규 |
- 지표: 게이트 통과(주지표) · 토큰 · 시간 · 수렴까지 반복 수(신규: 게이트 실패→재시도 허용 모드에서 측정. "하네스는 능력 격차를 반복 횟수로 변환한다" 가설의 직접 검증) 추론
- 반복·통계:
--repeat 3고정, 모델 간 비교는 과제 짝지은 McNemar(통과/실패 이산), 동률이면 효율 축으로 판정 · 외부 관례와 정합 검증됨(웹) - Goodhart 방지: holdout 게이트 유지 + 하네스-full 셀의 규칙이 게이트를 게임하지 않는지 리플레이 감사 (기존 corpus-floor 사상 재사용)
- 비용 산정: Opus 4.8 표준 $5/$25·fast $10/$50(2.5×속도) 반영해 셀당 $ 추정 열 추가 · "시간이 급하면 fast가 이득인 구간" 판정 검증됨(웹)
- 판독 기준 선언(사전 등록): ① full-하네스에서 하위 모델 통과율이 클린 대비 유의 상승하면 "등화는 하네스 효과" ② 양쪽 동률이면 "이 난이도에선 모델 자체 동급"(하네스는 보험) ③ full에서 하락하면 주입이 소음(diet 추가 근거)
이미 예약된 관측과의 연결
- 7/8 Opus 첫 세션 재측정 (durable cron) · keystone 건강 지표 delta: 0이면 "하네스 자체는 모델 비종속" 실증의 절반 검증됨(예약)
- 퇴역 직후 후계 확정 런: 기준선 4과제
--repeat 3→ 스왑 판단표를 N=3으로 승격 - 본 실험 (하네스 축): 위 두 개 완료 후 1회전. 예상 규모: 2×4×3×3반복 ≈ 72셀, 기존 인프라로 주말 1회 분량 추론
07라우팅 정책 제안 · 측정이 나오기 전의 잠정 운용제안
외부 근거(캐스케이드로 비용 −85%·품질 95% 유지, 90%를 중간 티어로)와 내부 실측(효율 순위·effort 무영향)을 합치면, 지금 당장 쓸 잠정 정책이 나옵니다. regatta 결과가 갱신되면 표도 갱신합니다.
태스크 클래스 → 티어 (잠정)
| 작업 | 1차 배정 | 근거 · 비고 |
|---|---|---|
| 기계적 수정 · 정리 · 스캐폴딩 | haiku-low 또는 gpt-5.5-low | 로스터 실측: low 변형이 최속·최저가에 holdout 통과 · effort는 과제가 요구할 때만 검증됨(N=1) |
| 표준 구현 · 버그 수정 | opus-4.8 (급하면 fast) | 퇴역 기준선 4/4 · fast는 2.5×속도에 2×단가 · 대기시간이 병목일 때만 검증됨(웹) |
| 설계 · 보안 · 적대 리뷰 · 스펙 무모호화 | opus-4.8 xhigh + 이종 교차(codex) | 메타 작업은 등화 밖(5장) · 교차 리뷰 실증(egress 19라운드·이슈큐 12 HIGH 적발) 검증됨 |
| 대용량 컨텍스트 (222K+ 주입 환경) | 1M 창 모델 고정 (opus-4-8·sonnet-5) | 200K 모델은 입장 불가 실측 · 폴백 체인 현행 유지 검증됨 |
| 기획 검증 · 게이트 판정 | 모델 0 (결정론) | odyssey·regatta 게이트 · 라우팅의 최하단은 "LLM을 안 쓰는 것" 검증됨 |
에스컬레이션 트리거 4: 게이트 2연속 실패 · 스펙 모호 신호(동반 fail) · 보안 표면 접촉 · 신규 아키텍처 결정 → 즉시 상위 티어+교차 리뷰로. 강등 트리거: 동일 클래스 10회 연속 하위 티어 통과 시 기본 배정 하향. 분기마다 regatta 재검침으로 표 갱신 추론
08결론 · 볼 수 있다, 그리고 절반은 이미 봤다
액션 3 · 시간 순
7/7–7/87/12–13(US 기준, 7/8 갱신)7/19–20 [7/15 갱신]: 퇴역 → Opus 첫 세션 delta 체크리스트(예약됨 → 7/14 조기 이행, delta 0) + 후계 확정 런--repeat 3· 기준선을 N=3으로 검증됨(예약)- 7월 중: regatta에 하네스 on/off 축 구현 → 2×4×3 본 실험 1회전 → 사전 등록한 판독 기준으로 판정 제안
- 분기 리듬: 라우팅 표(7장)를 실사용에 적용하고, 분기 1회 regatta 재검침으로 표를 갱신 · "감이 아니라 숫자로"의 상시화 제안