Overview

스로틀이 걷힌 저녁, regatta 최초의 "결정 인용 가능" 데이터가 나왔다

전편(아침 재측정)은 품질 축을 API 스로틀 벽(TTFT ~20초, 900초 셀 타임아웃)에 내주고 "N=3 승격은 다음"으로 끝났습니다. 그 다음이 같은 날 저녁이었습니다: 결정 후보 3항목 × 변별 3과제 × 3반복 = 27셀을 완주했고, 전 셀 게이트 통과 · 전 셀 재현 3/3. PLAYBOOK 수칙 1("인용은 N=3")을 처음으로 충족한 이 데이터는 곧바로 흥미로운 것을 보여줬습니다: ① 품질 동률 조건에서 gpt-5.5-low가 토큰·시간 양축을 지배했고(opus 대비 −62% · −75%), ② N=1 로스터에서 "최속"이던 haiku-low의 타이틀이 반복 측정에서 뒤집혔습니다. 측정 직후 propose 브릿지가 첫 가동돼 keystone-hub 이슈 #219로 등록됐습니다. 반영 여부는 사람 승인 대기.

셀 통과
27/27
3항목 × 3과제 × 3반복 · 재현 3/3 검증됨
gpt-5.5-low 토큰
−62%
1,215k vs opus 3,202k · 품질 동률 검증됨
gpt-5.5-low 시간
−75%
553s vs opus 2,189s 검증됨
인용 가능 라벨
첫
관측 N=3 · 커버리지 완전 · regatta 최초 검증됨
판정 1 · 효율

품질이 같으면 효율이 스왑 기준이다

세 항목 모두 게이트·holdout 만점, 재현 3/3. 이 과제군에서 품질 변별은 없습니다. 그러면 판단축은 효율뿐인데, gpt-5.5-low가 토큰과 시간 양쪽에서 동시에 이겼습니다. 한쪽 트레이드오프조차 없는 지배(dominance)입니다.

판정 2 · 재현성

N=1의 6초 차이는 노이즈였다

7/3 로스터(N=1)에서 haiku-low는 gpt-5.5-low보다 6초 빨라 "최속"이었습니다. N=3 평균에서는 2배 느립니다(376s vs 184s). krw 과제 셀당 토큰이 361~671k로 널뛰는 변동. 단발 측정은 이 분산 위에서 순위를 뽑는 도박이었습니다.

판정 3 · 브릿지

측정이 처음으로 반영 루프에 들어갔다

propose가 원장을 집계해 증거 초안을 만들고, 제안·유보를 채워 keystone-hub #219로 등록. "결정 → 측정 → 설정 반영"의 마지막 화살표가 처음 그어졌습니다. 판정은 regatta, 실행은 keystone-hub. 분리는 유지됩니다.

읽는 법 · 신뢰도 라벨

검증됨 원장(ledger.jsonl)·실행 결과 직접 확인  ·  추론 근거 기반 판단(연결부)  ·  모름 확인 불가

런 시작: 2026-07-05T10:08Z (= KST 19:08) · 총 소요 약 65분(27셀 순차) · 판정은 전부 exit-code 게이트 · LLM 무개입. 같은 원장에서 리포트·제안이 결정론 재생성됩니다(diff-0) 검증됨

Design

02측정 설계 · 27셀, 왜 이 셋인가비용 가드 내

전 로스터 6항목 × 3과제 × 3반복이면 54셀이라 비용 가드(max_cells 40)를 넘습니다. 반영처가 "keystone 에이전트 모델 배정" 하나뿐이므로(수칙 2), 그 결정에 실제로 필요한 후보만 남겼습니다.

RUN 20260705T190809 · --models opus,haiku-low,gpt-5.5-low --tasks build-krw-parse,build-range-overlap,qa-review-verdict-hard --repeat 3 검증됨
항목구성선정 이유
opusclaude-code · --effort xhigh현 기준선 · Claude 최상위 배정의 대조군
haiku-lowclaude-code · --effort lowN=1의 "최속" 후보 · Claude 런타임 유지 시 스왑 후보
gpt-5.5-lowcodex-cli · reasoning_effort=lowN=1의 "최저 토큰" 후보 · 벤더 이종 스왑 후보

과제는 변별력이 검증된 3종(빌드 2 + QA 1): build-krw-parse(한국식 금액 파서) · build-range-overlap(구간 중첩) · qa-review-verdict-hard(리뷰 판정). holdout 테스트는 채점 시점에 주입 · 풀이 중에는 보이지 않습니다 검증됨

아침과 달랐던 것

  • 스로틀 해소: 아침엔 opus 1샷 핑 TTFT 20.3초·1셀도 900초 초과. 저녁엔 27셀 완주 검증됨
  • 여진 1셀: opus krw 1회차 첫 시도가 셀 타임아웃(SIGALRM)으로 error → 재시도에서 pass. haiku-low도 1셀 재시도 검증됨
  • error ≠ 측정: 하네스 실패는 관측 N 계산에서 제외되고 재시도로만 회복 · 측정치 오염 없음 검증됨
Result

03결과 · 매트릭스 전량27/27 · 재현 3/3

세 항목 모두 전 과제·전 반복에서 게이트를 통과했습니다. 품질 변별이 없으므로 아래 수치는 전부 효율 비교입니다. 토큰은 런타임 간 산정 방식이 달라 근사 비교입니다.

항목 합계 (3과제 × 3반복)

항목과제 통과토큰합시간합opus 대비판정
gpt-5.5-low3/3 · 재현 3/31,215k553s (9.2분)토큰 −62% · 시간 −75%양축 지배 핵심
haiku-low3/3 · 재현 3/32,875k1,129s (18.8분)토큰 −10% · 시간 −48%시간만 유의미 차선
opus (xhigh)3/3 · 재현 3/33,202k2,189s (36.5분)기준선재시도 1셀 기준

과제별 상세 (셀당 토큰 범위 병기)

과제opushaiku-lowgpt-5.5-low
build-krw-parse1,490k · 1,452s
셀당 321–708k		1,551k · 671s
셀당 361–671k		423k · 239s
셀당 127–150k
build-range-overlap1,070k · 494s
셀당 340–377k		1,001k · 317s
셀당 324–352k		463k · 190s
셀당 127–191k
qa-review-verdict-hard641k · 242s
셀당 138–253k		322k · 141s
셀당 107–108k		327k · 123s
셀당 103–121k

눈에 띄는 결: haiku-low의 krw 토큰(1,551k)이 opus(1,490k)보다 많습니다: 저효율 추론이 더 많은 토큰으로 보상하는 패턴 추론. 반대로 QA성 과제(verdict)에선 haiku-low가 opus의 절반(322k vs 641k)으로 충분합니다. 과제 성격에 따라 최적점이 다릅니다. gpt-5.5-low는 세 과제 전부에서 셀당 범위가 좁아(103–191k) 반복 안정성도 가장 높습니다 검증됨

Reproducibility

04뒤집힘 · N=1이 속인 것수칙 1 실증

PLAYBOOK 수칙 1은 "스크리닝은 N=1, 인용은 N=3"입니다. 이 규칙이 종이 위의 신중함이 아니라 실제로 순위를 바꾼다는 것을, 같은 과제·같은 항목의 이틀 데이터가 보여줬습니다.

항목7/3 로스터 · N=1 (3과제 합)7/5 오늘 · N=3 (반복당 평균)변화
haiku-low809k · 169s · "최속"958k · 376s최속 타이틀 상실 (시간 2.2배)
gpt-5.5-low423k · 175s405k · 184s안정 · 새 최속·최저 토큰
opus (xhigh)742k · 413s1,067k · 730s악화 · 스로틀 여진 겹침 추론

N=1에서 haiku-low와 gpt-5.5-low의 시간 차는 6초였습니다. 그 6초로 "최속"을 결정했다면 keystone 배정을 잘못 바꿀 뻔했습니다. N=3 평균에서 차이는 192초, 2배입니다. opus 악화분은 아침 스로틀 사건(전편 §4)의 여진이 섞였을 가능성이 있어 단정하지 않습니다 추론

변동이 큰 시스템에서 단발 측정의 근소한 우위는 정보가 아니라 노이즈다. krw 과제의 haiku-low 셀당 토큰이 361k에서 671k까지 널뛰는 동안(1.9배), gpt-5.5-low는 127~150k에 머물렀다(1.2배). 순위보다 먼저 분산을 봐야 하고, 분산은 반복해야만 보인다.
Bridge

05브릿지 첫 가동 · keystone-hub #219규약 신설

오늘 오후 regatta v1.4에 propose 서브커맨드가 추가됐습니다. 원장을 집계해 keystone-hub 이슈용 증거 초안을 만드는 브릿지입니다. 이번 N=3 런이 그 첫 실전 가동이 됐습니다.

규약: 측정(regatta) → propose 초안 → 사람이 제안 작성 → 이슈 등록 → 승인(도입/반대는 사람) → keystone-hub layers 수정 → apply → 회귀 재측정 검증됨

등록된 제안 (#219)

  • 변경안: Claude 세션 밖으로 위임 가능한 빌드·QA성 서브 작업의 기본 모델 = gpt-5.5-low 검증됨(등록)
  • 차선: Claude 런타임 유지가 필요한 자리는 haiku-low(시간 −48%, 단 토큰 절감 −10%뿐) 추론
  • 근거: 위 §3 표의 N=3 수치만 인용 (N=1 숫자는 결정 근거에서 배제) 검증됨
  • 상태: keystone-hub#219 등록 완료 · 승인 대기 검증됨

제안에 명시한 유보 3건

  • 과제군 범위: 빌드 2 + QA 1. 기획·디자인 축은 미측정 · 그 축의 배정은 이 데이터로 결정 불가 검증됨
  • 토큰수 ≠ 비용: 모델 단가·구독 구조(Codex 정액 여부)에 따라 실비용 순위는 달라질 수 있음. 그 판단은 사람 몫 모름
  • 벤더 이종: codex-cli 호출이 가능한 자리에 한정. Claude 전용 훅·경로에는 적용 불가 검증됨

왜 regatta가 직접 설정을 바꾸지 않는가

개선 루프가 자기 채점표를 소유하면 채점표를 학습합니다(Goodhart). 그래서 판정과 홀드아웃은 regatta에, 개선 실행권은 keystone-hub에 나눠 놓았고, 둘 사이는 사람이 승인하는 이슈 하나로만 연결됩니다. propose는 이슈를 자동 등록하지도, 설정을 mutate하지도 않습니다. 측정 사실만 적고 판단 칸은 비워 둡니다 추론(설계 원칙)

Conclusion

06결론 · 전편의 "남은 절반"이 채워졌다

전편이 미측정으로 남긴 품질 축: 이 과제군에서 품질은 세 항목 동률이고, 효율은 gpt-5.5-low가 양축 지배. 그리고 그 답이 처음으로 인용 가능한 형태(N=3·재현 3/3·커버리지 완전)로 나왔으며, 처음으로 반영 루프(#219)에 올라탔습니다. 다만 "품질 동률이 하네스 덕분인가"의 인과는 여전히 미증명입니다. 그것은 원본 7/4 리포트 6장의 on/off 실험 몫으로 남습니다.

오늘 확정된 것

  • 첫 N=3 인용 가능 데이터: 27/27 통과, 재현 3/3, 커버리지 완전 검증됨
  • gpt-5.5-low 양축 지배: 토큰 −62% · 시간 −75%, 반복 안정성 최고 검증됨
  • N=1 순위 뒤집힘 실증: "인용은 N=3" 수칙이 실제로 오판 1건을 막음 검증됨
  • 브릿지 규약 가동: propose → #219, 판정/실행 분리 유지 검증됨

여전히 남은 것

  • #219 승인 판단: 단가·구독 구조 반영한 실비용 계산 포함 (사람) 보류
  • 기획·디자인 축: 이 과제군 밖. 실전(BIS 익명화) 과제 이식 후 측정 보류
  • 하네스 on/off 인과: 원본 6장 2×4×3 실험, 미착수 추론