모델 리프레시 캠페인 · Fable 상시화와 5.6 재측정 (2026.07.19

Overview

01한눈에 캠페인 진행 중

"Fable이 곧 사라진다"는 전제로 두 달을 운영하다, 7/20 플랜 상시화로 전제가 뒤집혔다. 사흘간 리서치→레포 갱신→레이스 3개→첫 반영(keystone#307)까지, 5세대/5.6 지형을 감이 아니라 하네스 숫자로 재편한 기록.

기간 7/19 밤 – 7/22 (잔여 2런 진행 중) · 원장 regatta 런 6개 82셀 완료 + 15셀 발사 · 산출 PR #12·#13·#14 병합 / keystone#307 등록 / 문서 5종

결정	결과	상태
빌드·QA 서브작업 모델	5.6-luna-low: 게이트 동률에서 비용 −83%·토큰 −16%·시간 −23% (N=3, 36셀 전 pass)	keystone#307 등록 · 도입 검토 대기
codex 상한 자리 (rescue)	5.6-sol · author-h 3/3은 단일 런 신호로 판명: 확인 런 1/3 미재현 철회 (7/22)	미등록 · author-h 런간 변동성으로 흡수
기획 축 opus 고정(#229) 재검	청정 재측정 확정: 소넷5 pass^3 2/2 vs 오푸스4.8 1/2 · 비용 −60% (in-run)	재검 제안 초안 작성 · 등록 대기 (7/22)
소넷5로 빌드·QA 이사?	기각: 특가 비용은 현직 우세였으나 terra·luna에 전 축 피지배	측정으로 오판 방지

Turning Point

02전환점 · Fable 상시화 전제 해제

fable-window-plan v1·v2는 "퇴역 전 재생산 불가 자산을 확보하라"는 계획이었다. 그 서사가 끝났다.

접근 창은 6/22 → 7/7 → 7/12 → 7/19로 네 번 연장된 끝에, 7/20부터 Max·Team Premium 전 플랜 상시 포함으로 전환됐다(공식 발표 7/18). 조건은 공짜가 아니다. 한도의 50%만 허용되고, 같은 날 보너스 사용량 종료로 기본 한도도 −33%. Pro·Team Standard는 크레딧 방식 + $100 1회. API 단가는 $10/$50 불변.

레포에 미친 효과: fable N=3 기준선 2종(7/8·7/12)의 "퇴역 후 재측정 불가" 문구가 효력을 잃고 회귀 비교의 시점 기록으로 지위 변경. fable은 일회성 유산이 아니라 상시 레인이 됐고, 분기 재기준선(R-4)이 로드맵에 올라갔다. 단 한도 50%라 fable 대량 측정런은 저빈도 유지.

Landscape

03지형 · 순위·단가·토크나이저

딥리서치 하네스의 적대 검증 단계가 레이트리밋으로 전멸(0/25)해, 1차 출처 3곳 직접 재확인 + 실호출 5건으로 검증을 대체했다.

arena.ai 코드 리더보드 (7/16 갱신, 483,895표 실확인)

순위	모델	점수	표기 단가
1	kimi-k3 preliminary 1,757표	1679±17	$3/$15
2	claude-fable-5	1631±13	$10/$50
3	gpt-5.6-sol-xhigh	1618±13	$5/$30
5·13	claude-opus-4-8 (thinking·기본)	1562·1534	$5/$25
10	claude-sonnet-5-high	1542±12	$2/$10 특가
20	gpt-5.5-xhigh (현직)	1504	$5/$30
77	claude-haiku-4-5	1327	$1/$5

단가에서 잡은 함정 두 개

소넷5 특가는 8/31까지: $2/$10 → 9/1부터 $3/$15. prices.json에 갱신 리마인더를 박았다. 특가 중 잰 비용 서열은 9월에 다시 볼 것.
신형 토크나이저 +30%: Opus 4.7+·Fable·소넷5는 같은 텍스트를 ~30% 더 많은 토큰으로 계산(공식 문서 명시). 구형 모델과의 토큰 수 직접 비교는 축척이 다르다. 과거 "fable 토큰 +33% vs opus" 비교도 이 혼입 가능성을 캐비엇으로 소급.

반영: models.json에 핀 4종(소넷5·소넷5-low·오푸스4.8·하이쿠4.5) 추가. 별칭 런은 원장에 실모델이 안 남는 함정의 해소. 5.6 sol/terra/luna id는 실호출로 재검증. (PR #12)

Race 1 · Build-QA Lane

04빌드·QA 축 · luna-low 전 축 승자 N=3 인용

keystone #219(빌드·QA 서브작업 = gpt-5.5-low)의 재측정 트리거가 성립. 스크리닝 16셀 → 생존자 N=3 36셀.

모델 (low)	pass^3	토큰	시간	추정 비용	vs 현직
gpt-5.5 (현직)	4/4	1,953k	806s	~$10.61	기준
gpt-5.6-terra	4/4	1,789k	687s	~$4.83	비용 −54%
gpt-5.6-luna	4/4	1,633k	623s	~$1.77	비용 −83% · 토큰 −16% · 시간 −23%

소넷5-low는 스크리닝 탈락: 특가 덕에 비용은 현직 우세($2.39 vs $4.16)였지만 terra·luna에 전 축 피지배. "특가니까 소넷으로"라는 직감을 측정이 막았다.
N=1 함정 3번째 실측: luna 토큰 우위가 N=1 −35% → N=3 −16%로 축소. 스크리닝 숫자로 결정하면 안 되는 이유가 또 쌓였다.
과제 포화 심화: 변별 4종을 전 모델이 통과. pass 변별력 소진. 차기 레이스 전 과제 난이도 상향이 선행 과제.

반영: 제안 초안(proposals/20260720T204027.md) 작성 → keystone#307 등록 완료: 빌드·QA 서브작업 gpt-5.5-low → gpt-5.6-luna-low (대안 terra-low). 도입/반대 결정은 keystone 쪽 사람 게이트.

Race 2 · Upper Bound

05sol 상한 경신 · author-h 3/3 최초 N=3 인용

변별 4종이 포화된 지금, 상한을 가르는 유일한 과제는 기획 저작(author-h)이다. fable·opus·gpt-5.5 모두 2/3에 머물던 경계 과제.

과제	gpt-5.6-sol (xhigh)	gpt-5.5 (xhigh, in-run 앵커)
plan-odyssey-author-h	재현 3/3 · 전 로스터 최초 · 2,416k · 1,471s	2/3 (7/8 크로스런과 동일 패턴)
plan-odyssey-reflect-h	3/3 · 854k · 390s	3/3 · 564k · 280s
합계	pass^3 2/2 · ~$18.18	pass^3 1/2 · ~$12.71

아레나 3위가 우리 게이트에서도 실측으로 확인됐다. 대신 토큰 +45%·비용 +43%의 상한↑·효율↓ 트레이드오프. 재현성이 필요한 자리(codex:rescue 3차 투입·최후 진단)용이지 효율 자리용이 아니다. 7/14의 sol 단발 실패는 재현 시도 pass + 본 런 6/6 무결로 flaky 판정이 굳었다.

갱신 (7/22 아침): 확인 런에서 author-h 1/3 미재현 → 상한 경신 철회, 제안 미등록. 원인은 sol 개별 결함이 아니라 author-h의 run간 변동성(전 모델이 3/3↔1/3 진동, gpt-5.5만 2/3 안정). "author-h는 같은 런 내 상대 비교로만 인용"하는 운영 규약을 확정했다. 확인 런 게이트가 단일 런 신호의 조기 반영을 막은 실사례.

Race 3 · Contamination

06R-2 오염과 운영 교훈 결정 보류

소넷5 vs 오푸스4.8 기획 축(#229 재검)은 측정 자체가 사고를 겪었다. 그리고 그 사고가 이번 캠페인의 가장 값진 운영 교훈을 남겼다.

무슨 일이 있었나

런 사망 2회: 백그라운드 런이 머신 슬립·세션 회수에 두 번 죽었다(두 번째는 발사 21시간 뒤에야 기동한 것으로 실증). 사용자 중단으로 오판했다가 정정.
심야 스로틀 창: 23:0x~00:3x에 claude 러너 셀만 전면 무출력 스톨(0토큰 error 5셀). 동시간 codex 셀은 정상, 창이 걷히자 전 셀 1차 pass. 플랜 쿼터 스로틀 추론.
적대 리뷰 게이트의 제 몫: 오염 런을 latest.md 정본으로 승격시킨 실수를 push 게이트(HIGH)가 차단. 청정 런으로 교체 후 통과. "게이트가 에이전트의 실수를 잡는다"의 실사례.

남은 신호와 새 수칙

오염을 걷어낸 인용 가능 신호: 소넷5 author 2/3(상한 모델들과 동급) + 추정 비용 오푸스4.8의 ~1/3($12.12 vs $34.67, 특가 반영). 방향은 "#229 완화 가능"을 가리키지만 결정 인용은 청정 재측정 후로 보류했다. 갱신(7/22 아침): 스로틀 무창 시간대 청정 재측정에서 소넷5 pass^3 2/2 vs 오푸스4.8 1/2, 시간 −27%·비용 −60%(토큰 동률·동일 토크나이저)로 우세 확정. #229 재검 제안 초안 작성 완료(등록은 사람).

PLAYBOOK 수칙 4 신설: 장시간 런은 nohup caffeinate -ims 분리 실행 · --resume은 원 모델·과제 세트 명시 필수 · 무출력 error(0tok) 셀 다발 = 스로틀 창 신호, 그 웨이브 측정 무효.

#	항목	주체	기한 감각
1	keystone#307 도입 · 빌드·QA luna-low 교체 (layers 수정 → apply → 회귀 재측정으로 루프 닫기)	사람	수시
2	sol 확인 런 판독 → 통과 시 codex 상한 자리(rescue) 제안 이슈	런 진행 중	금일
3	R-2 청정 재측정 판독 → #229 기획 opus 고정 재검	런 진행 중	8/31 특가 종료 전
4	prices.json 소넷5 3/15/0.3 갱신	사람/에이전트	9/1
5	변별 과제 난이도 상향 (포화 해소) · 월 1회 지형 스냅샷 (다음 8/18경)	사람 트리거	차기 레이스 전

이관(레포 밖): memory-bank sync 실패 3회 재발(errno −11, keystone-hub 조사 필요) · keystone rules 예산 초과(127개·464KB, 전역 컨텍스트 ~270K가 하이쿠 200K 직접 호출을 막는 실측 영향) · codex 리뷰 실행기 타임아웃(7/18 soft-pass).

캠페인의 본질: "모델을 바꿔도 되나?"의 답을 30~90분짜리 명령 하나로 만드는 파이프라인이 사흘간 3연속 실작동했다. 측정 없이 갔으면 소넷5 이사(오판)를 했을 것이고, 측정 덕에 luna −83%(#307)와 sol 상한 경신을 얻었다. 남은 것은 반영 루프를 닫는 사람의 결정이다.

근거 · regatta 원장: runs/20260720T201247 · 203723 · 204027 · 213044 · 20260721T221333 (+진행 중 2런) / PR: ax-regatta #12 #13 #14 / keystone-hub#307 / 1차 출처: 공식 단가 문서·arena.ai 코드 리더보드(7/16)·공식 발표(7/18) 직접 확인 / 문서: 내부 리서치 노트 (2026-07-20, 비공개) · report/build-qa-lane-20260720.md · plan-lane-sol-20260720.md · plan-lane-5g-20260721.md
캐비엇 · 비용은 추정 단가×토큰(캐시 미분리, 서열 전용) · 토큰은 런타임 간 근사 비교 · 소넷5 수치는 특가 기준 · N=3·소과제 규모는 큰 격차만 인용