2026년 9월 13일 기준으로 작성했습니다. 모델 가격과 리더보드 점수는 자주 바뀌니, 읽으시는 시점에 원문을 한 번 더 확인해 주세요.
목차
- 수능 450점 만점, 그리고 2.5점 차이
- 30초 요약 — 결론부터 말하면
- 웹 개발 성능, 도대체 무엇으로 재야 하나?
- 제조사가 낸 표를 나란히 놓으면 안 되는 이유는?
- 같은 모델이 62.7%와 99.9%를 동시에 받았다고?
- 수능 450점이 말해주지 않는 4가지는 무엇일까?
- 정가가 같은데 청구서가 다른 이유 3가지
- 【튜토리얼】 API 비용을 절반으로 줄이는 캐시 설계 4단계
- 추론 강도(effort) 5단계 — 언제 올리고 언제 내리나?
- 그래서 나는 무엇을 켜야 하나? — 상황별 선택 체크리스트
- 내 요금제에서 쓸 수 있나? (한국 사용자 기준)
- 도입 전에 안전성은 무엇을 봐야 하나?
- 주니어 개발자를 위한 4단계 검증 전략
- 부록 — 내 환경에서 직접 재보는 법
전체 지도
자, 오늘은 화이트보드를 한 장 크게 그려놓고 시작하겠습니다. 가운데에 두 모델 이름이 마주 보고 있죠. GPT-6 Astra와 Claude Fable 5.1. 9월 1일과 9월 3일, 사흘 간격으로 나온 두 모델입니다.
지도를 크게 보면 네 구역입니다.
왼쪽 위는 시험지 구역이에요. 450점짜리 성적표 한 장이 붙어 있습니다. 여기서 출발은 하지만 오래 머물지는 않을 겁니다. 왜 오래 안 머무는지가 오늘 이야기의 첫 번째 반전이거든요.
가운데 위는 저울 구역입니다. 벤치마크 표 두 장이 서로 다른 방향을 가리키며 놓여 있고, 그 사이에 물음표가 하나 크게 떠 있죠. "누가 쟀나"를 묻는 자리입니다. 오늘 글에서 제일 중요한 숫자 두 개, 62.7%와 99.9%가 여기 적혀 있습니다.
오른쪽 아래는 계산기 구역이에요. 영수증이 두 장 나란히 붙어 있는데, 위쪽 정가는 똑같고 아래쪽 합계는 다릅니다. 캐시, 할증, 토큰 소비량 — 돈 이야기가 전부 여기 모여 있습니다.
맨 아래 오른쪽, 작업대 그림이 있는 구역이 오늘의 종착지입니다. 도구 두 개를 놓고 "하나를 고르는" 게 아니라 "어디에 무엇을 물리는가"를 정하는 자리예요. 솔직히 말씀드리면 앞의 세 구역은 전부 이 마지막 구역을 위한 준비 운동입니다.
그럼 시험지부터 짚고 가겠습니다.
1. 수능 450점 만점, 그리고 2.5점 차이
지도 왼쪽 위, 성적표 한 장이 붙어 있는 자리입니다. 짧게 짚고 넘어가겠습니다.
2026년 9월 6일, GPT-6 Astra가 2026학년도 수능 전 과목에서 450점 만점을 받았습니다. AI로는 처음입니다. 국어, 수학 전 선택과목, 영어, 한국사, 탐구 4과목까지 한 문제도 틀리지 않았어요. 이건 분명히 주목할 만한 사건입니다.
그런데 같은 표의 바로 아래줄을 보시면 이야기가 조금 달라집니다. Claude Fable 5.1은 447.5점이었습니다. GPT-5.6 Sol이 448.5점, GPT-5.4가 448점, Gemini 3.1 Pro가 445점이고요. 상위권이 전부 447~450점 안에 모여 있습니다.
시험 문제로 치면 이건 변별력이 사라진 시험입니다. 학원에서 모의고사 만들 때 제일 피하려는 상황이죠. 응시자 대부분이 만점 근처에 몰리면, 그 시험은 더 이상 실력을 가르는 도구가 아니라 "다들 잘한다"는 사실을 확인해 주는 도구가 됩니다. 게다가 2026학년도 수능은 이미 시행돼서 정답과 해설이 인터넷에 다 풀려 있는 시험이에요. 이 부분은 6번 이야기에서 제대로 뜯어보겠습니다.
그러니 오늘 이 글은 "누가 더 똑똑한가"에서 출발하지 않습니다. 대신 이 질문에 답할 겁니다.
"그래서 나는 지금 무엇을 켜야 하는가?"
참고 자료:
- GPT-6 아스트라, AI 최초 수능 '완전 만점' | AI타임스
- GPT-6 아스트라, 수능 450점 만점…클로드·제미나이 모두 제쳤다 | 이코노미트리뷴
- AI가 수능 450점 만점을 받았습니다 — 이 점수가 말해주지 않는 것 | 오픈위키
2. 30초 요약 — 결론부터 말하면
성적표에서 눈을 떼고, 지도 오른쪽 아래 영수증 두 장 쪽을 미리 한 번 훔쳐보겠습니다. 결론을 먼저 드리고 시작하는 게 서로 편하니까요.
첫째, 정가는 완전히 똑같습니다. 둘 다 입력 100만 토큰당 $10, 출력 100만 토큰당 $50입니다. 소수점까지 같아요. 그런데 실제 청구서는 최대 2배까지 벌어집니다.
왜 그럴까요. 통신 요금제를 떠올려 보세요. 두 통신사가 "분당 10원"이라고 똑같이 적어놨는데, 한 곳은 심야 할인이 90%고 다른 곳은 60%라면요? 그리고 한 곳은 장시간 통화에 할증을 붙이는데 다른 곳은 안 붙인다면요? 정가표가 같아도 내 통화 습관에 따라 청구서는 완전히 달라집니다. AI 모델도 똑같습니다. 정가표는 첫 화면이고, 진짜 승부는 캐시 단가와 할증 구간에서 납니다.
둘째, 웹 프론트엔드 작업에서는 Astra가 근소 우위입니다. 65만 표 이상이 쌓인 블라인드 비교에서 Astra 1,797점, Fable 5.1 1,762점. 격차 35점, 비율로는 2% 미만입니다. "이겼다"는 맞지만 "압승"은 아니에요.
셋째, 그래서 이건 "더 똑똑한 모델"을 고르는 문제가 아니라 "내 워크로드"를 고르는 문제입니다. 단발성 과제를 많이 돌리시나요, 같은 코드베이스를 몇 시간씩 물고 계시나요? 이 질문의 답이 모델을 정합니다.
여기까지가 결론입니다. 이제 왜 그런지 하나씩 뜯어보겠습니다.
참고 자료:
- Claude 가격표 (캐시·컨텍스트 포함) | Claude Platform Docs
- GPT-6 Astra 모델 스펙·가격·레이트리밋 | OpenAI Developers
- GPT-6 Astra vs Claude Fable 5.1 비교 | Artificial Analysis
3. 웹 개발 성능, 도대체 무엇으로 재야 하나?
지도 가운데 위, 저울이 그려진 구역으로 올라왔습니다. 여기서부터는 "숫자를 어떻게 읽을 것인가"가 주제예요.
유튜브에서 "GPT-6로 웹사이트 만들어봤습니다" 같은 영상을 보신 적 있으실 겁니다. 저도 봅니다. 재미있거든요. 그런데 그 영상을 근거로 쓰면 안 되는 이유가 세 가지 있습니다.
표본이 1건입니다. 프롬프트 하나 던지고 결과 하나 보고 판정합니다. 여러분이 실무에서 모델을 쓰실 땐 하루에도 수십 번 요청하시죠. 한 번의 결과로 수십 번의 평균을 예측할 수는 없습니다.
채점이 주관적입니다. "디자인이 더 예쁘다", "코드가 더 깔끔하다" — 누가 판정했나요? 영상 만든 분 한 명입니다.
브랜드 선입견이 들어갑니다. 어느 쪽 결과물인지 알고 보면 사람은 무의식적으로 기울어집니다.
그래서 대안이 필요합니다. 블라인드 비교 투표예요.
요리 대회 비유가 딱 맞습니다. 한 명의 미식가가 두 식당을 방문해서 쓴 후기와, 500명이 어느 식당 음식인지 모르는 채로 먹고 투표한 결과. 어느 쪽을 믿으시겠어요? 후자죠. 브랜드 이름표를 떼면 남는 건 맛뿐이니까요.
Arena의 Code Arena: WebDev가 정확히 이 방식입니다. 126개 모델을 놓고, 사용자들이 어느 모델인지 모르는 상태에서 결과물 두 개를 비교해 투표합니다. 누적 65만 표 이상이 쌓였고, 고정된 문제집이 아니라 실제 웹 앱을 계획하고 만드는 작업으로 평가합니다.
2026년 9월 5일 기준 결과입니다.
| 순위 | 모델 | Elo 점수 |
|---|---|---|
| 1 | GPT-6 Astra | 1,797 |
| 2 | Claude Fable 5.1 | 1,762 |
격차 35점. 비율로는 2% 미만입니다.
자, 그럼 솔직한 질문을 드릴게요. 2%가 여러분의 의사결정을 바꿀 만한 크기인가요?
체스 랭킹으로 치면 35점 차이는 "붙으면 55 대 45 정도로 이긴다"는 뜻입니다. 열 판 붙으면 다섯 판 반을 이기는 거죠. 압도가 아닙니다. 그리고 두 모델은 같은 가격대입니다. 그래서 Arena도 이걸 "새로운 1위"보다 "가격-성능 프론티어가 재편됐다"는 쪽으로 해석했어요.
웹 UI 생성은 Astra가 근소 우위, 단 격차는 2% 미만. 현재 방어 가능한 문장은 딱 여기까지입니다.
참고 자료:
4. 제조사가 낸 표를 나란히 놓으면 안 되는 이유는?
블라인드 투표가 왜 필요한지 보셨으니, 이제 그 반대편 — 제조사가 직접 만들어 배포한 표를 볼 차례입니다. 지도에서 표 두 장이 서로 다른 방향을 가리키고 있던 바로 그 자리입니다.
먼저 각자 발표한 숫자입니다.
OpenAI 발표 (GPT-6 Astra)
| 벤치마크 | Astra | GPT-5.6 Sol |
|---|---|---|
| ARC-AGI-3 | 99.9% | — |
| FrontierMath Tier 4 | 97.6% | 83.0% |
| Terminal-Bench 4.0 | 57.9% | 37.3% |
| OSWorld 2.0 | 72.6% | — |
| 환각률 | 4.2% | 12.2% |
Anthropic 발표 (Claude Fable 5.1)
| 벤치마크 | Fable 5.1 | Fable 5 |
|---|---|---|
| Terminal-Bench 4.0 | 55.8% | 42.0% |
| OSWorld 2.0 | 77.9% | 72.9% |
| Terminal-Bench-Science 0.1 | 52.6% | 24.7% |
| AutomationBench | 31.4% | 17.1% |
| Humanity's Last Exam (도구 없이) | 60.9% | 57.8% |
눈치채셨나요? 두 표에 같은 이름의 벤치마크가 두 개 들어 있습니다. Terminal-Bench 4.0과 OSWorld 2.0이요. Terminal-Bench는 Astra 57.9%, Fable 55.8%. OSWorld는 Astra 72.6%, Fable 77.9%. 그럼 "터미널은 Astra 승, 데스크톱은 Fable 승"인가요?
아닙니다. 이 둘은 애초에 비교 대상이 아닙니다.
벤치프레스 비유를 써볼게요. A 헬스장에서 100kg을 들었다는 사람과 B 헬스장에서 95kg을 들었다는 사람이 있습니다. A 헬스장 원판이 실제로는 몇 kg인지, 보조를 받았는지, 몇 번째 시도였는지 — 아무것도 모르는 상태입니다. 이 상황에서 "A가 더 세다"고 쓰면 그건 측정이 아니라 받아쓰기입니다.
실제로 두 회사는 측정 하네스와 추론 강도(effort) 설정을 공개하지 않았거나 서로 다르게 썼습니다. 같은 이름의 시험지를 썼을 뿐, 시험장이 다릅니다.
한 발 더 나가볼까요. OpenAI가 발표한 FrontierMath Tier 4에서 97.6%입니다. 거의 만점이죠. 그런데 같은 모델을 아직 안 풀린 에르되시(Erdős) 미해결 문제 68개에 붙였을 때, 공식적으로 해결된 건 2개(약 3%)였습니다. 반복 시도로 5개까지 올렸지만 연산 비용만 22만 달러 이상이 들었고요.
97.6%와 3%. 이 간극이 말해주는 건 하나입니다. 벤치마크 포화는 문제 정복이 아닙니다. 시험 점수가 100점에 가까워졌다는 건 그 시험이 더 이상 그 능력을 재지 못한다는 뜻일 수도 있어요.
그런데 여기서 더 놀라운 이야기가 남아 있습니다. 시험지도 같고 응시자도 같은데 점수가 36%p 차이 나는 사례요.
참고 자료:
- GPT-6 Astra 공식 발표 | OpenAI
- Claude Fable 5.1 / Mythos 5.1 공식 발표 | Anthropic
- GPT-6 Astra 벤치마크 비판적 검증 | MindStudio
5. 같은 모델이 62.7%와 99.9%를 동시에 받았다고?
지도 한가운데, 물음표가 제일 크게 떠 있는 자리입니다. 오늘 글에서 딱 하나만 가져가신다면 이 섹션입니다.
하네스가 뭔가요?
한 줄로 정리하겠습니다. 하네스(Harness)는 모델을 감싸고 있는 실행 환경입니다. 모델이 무엇을 기억하고, 도구를 어떻게 호출하고, 긴 대화를 어떻게 이어붙일지를 정하는 바깥 껍데기죠. 모델이 엔진이라면 하네스는 차체와 변속기입니다.
이 개념만 따로 다룬 글이 이미 있으니, 더 깊이 보고 싶으신 분은 여기로 가세요 → 하네스 엔지니어링이란? — 모델은 그대로 두고 AI 에이전트를 잘 일하게 만드는 기술
62.7%와 99.9%
ARC Prize가 GPT-6 Astra를 두 가지 환경에서 측정했습니다. 모델은 완전히 같습니다.
| 실행 환경 | ARC-AGI-3 점수 | 총비용 |
|---|---|---|
| ARC Prize 표준 하네스 (프로바이더 중립) | 62.7% | $26,098 |
| OpenAI 프로바이더 어댑터 | 99.9% | 약 $19,000 |
같은 모델이 36%p 더 높은 점수를, 27% 더 싸게 받았습니다. 토큰은 49% 덜 썼고, 속도는 3.66배 빨랐습니다.
차이의 정체
표준 하네스에서는 모델이 요청과 요청 사이에 자기가 남기기로 선택한 메모(visible notes)만 들고 갑니다. 그래서 매번 생각을 처음부터 다시 세워야 해요.
프로바이더 어댑터에서는 불투명한 추론 상태(opaque reasoning state)를 그대로 보존하고, 대화가 길어지면 압축합니다. 모델이 어제 하던 생각을 오늘 이어서 할 수 있는 겁니다.
회의 비유로 보겠습니다. 표준 하네스는 매주 회의 때마다 회의록 한 장만 들고 들어가는 팀입니다. 프로바이더 어댑터는 지난주에 쓰던 화이트보드를 지우지 않고 그대로 둔 채 회의를 이어가는 팀이고요. 같은 사람이 회의를 해도 결과가 달라질 수밖에 없죠.
그리고 그 하네스는 살 수 없습니다
여기가 핵심입니다.
OpenAI는 Astra를 팝니다. 그런데 99.9%를 받은 그 시스템은 팔지 않습니다.
모델 접근권과 API 문서는 받습니다. 하지만 그 점수를 만들어낸 조립된 실행 환경은 OpenAI 내부 자산입니다.
즉 여러분이 API를 붙여서 만든 에이전트는 발표된 벤치마크 점수를 재현할 수 없습니다. 이건 Astra만의 문제도 아니고 누가 나빠서 그런 것도 아닙니다. 업계 전체의 구조적 상황이에요.
프로 스포츠로 치면 선수는 영입할 수 있어도 그 팀의 코치진과 전술은 영입할 수 없는 것과 같습니다. 같은 선수를 데려와도 성적이 그대로 나오지 않는 이유죠.
그래서 벤치마크를 읽는 법이 바뀌어야 합니다. 앞으로 "ARC-AGI 몇 %"라는 문장을 보시면 반드시 "어떤 하네스에서?"를 함께 물어보세요. 그 질문 하나가 여러분을 다른 독자로 만들어 줍니다.
참고 자료:
- ARC Prize 공식 Astra 평가
- ARC-AGI 결과 페이지 | ARC Prize
- OpenAI's Astra and the harness it won't sell | The New Stack
6. 수능 450점이 말해주지 않는 4가지는 무엇일까?
하네스 이야기를 하고 나면 1번의 수능 점수가 다르게 보입니다. 지도 왼쪽 위로 잠깐 돌아가서, 그 성적표를 뒤집어 보겠습니다.
첫째, 수능은 폐쇄형 시험입니다. 정답이 하나로 정해져 있고, 전부 텍스트로 제시되고, 채점이 기계적입니다. 이건 언어 모델이 가장 잘하는 형태예요. 반면 여러분이 실무에서 만나는 문제 — 고객 응대, 코드 리팩터링, 프로젝트 일정 조정 — 는 정답이 여러 개거나 아예 없습니다. 잘 치는 시험과 잘하는 일은 다릅니다.
둘째, 학습 데이터 오염 가능성입니다. 2026학년도 수능은 이미 시행된 시험입니다. 문제도 정답도 해설도 인터넷에 널려 있어요. 모델이 학습 과정에서 이걸 봤을 가능성을 배제할 수 없습니다.
기출문제집을 통째로 외운 학생 비유가 정확합니다. 그 학생이 작년 기출에서 만점을 받았다고 해서 올해 새 문제를 만점 받는다는 보장은 없죠. 물론 외운 것만으로 450점이 나오지도 않습니다. 그래서 "실력이 아니다"가 아니라 "이 점수를 순수한 미지 문항 해결 능력과 같다고 단정할 수 없다"가 정확한 표현입니다.
셋째, 이미지와 도표에서 약합니다. 평가 조건상 텍스트 문제는 텍스트로, 그래프와 표는 이미지로 제시됐는데 이미지 첨부 문항의 정답률이 텍스트 전용 문항보다 낮았습니다. 그런데 실제 수능에서 변별력을 만드는 건 대부분 그래프와 도식이에요. 총점 하나로는 이 약점이 안 보입니다.
넷째, 단일 점수 서열화의 위험입니다. 수능에서는 Astra가 1등입니다. 그런데 같은 시점 Artificial Analysis의 Intelligence Index에서는 Astra 53, Fable 5.1 53으로 동점입니다. 어느 쪽이 맞을까요? 둘 다 맞습니다. 다른 걸 쟀으니까요.
하나 더 붙이자면, 이 평가는 순천향대 컴퓨터공학과 학생이 만든 개인 프로젝트입니다. 원자료를 공개했다는 점에서 훌륭하고, 조건도 명시돼 있습니다 — 공식 API 사용, 시스템 프롬프트 없음, 검색 도구 없음, 외부 계산기 없음. 이런 조건 명시가 있어야 숫자를 믿을 수 있는 거죠. 다만 인용하실 때는 평가 주체와 조건을 반드시 같이 적어주세요.
여기까지가 "숫자를 읽는 법"이었습니다. 이제 지갑 이야기로 가겠습니다.
참고 자료:
- 2026 수능 LLM 풀이 대시보드 원자료
- AI가 수능 450점 만점을 받았습니다 — 이 점수가 말해주지 않는 것 | 오픈위키
- GPT-6 Astra vs Claude Fable 5.1 비교 | Artificial Analysis
7. 정가가 같은데 청구서가 다른 이유 3가지
지도 오른쪽 아래, 영수증 두 장이 붙어 있는 계산기 구역입니다. 앞에서 미리 보여드린 그 자리예요.
다시 확인하고 시작하겠습니다. 입력 $10, 출력 $50. 두 모델이 완전히 동일합니다. 그런데 왜 청구서가 갈릴까요.
이유 1 — 캐시 읽기 단가가 4배 다릅니다
| 항목 | GPT-6 Astra | Claude Fable 5.1 |
|---|---|---|
| 캐시 읽기 (100만 토큰) | $1.00 | $0.25 |
| 캐시 히트 배수 | 0.1배 | 0.025배 (97.5% 할인) |
캐시가 뭔지 한 줄로 짚고 가겠습니다. 매 요청마다 똑같이 들어가는 앞부분 — 시스템 프롬프트, 툴 정의, 프로젝트 문서 — 을 미리 처리해 두고 재사용하는 할인 제도입니다.
점심 도시락 비유를 써볼게요. 매일 아침 밑반찬을 새로 만들면 매일 30분이 듭니다. 일요일에 한 번 만들어 두고 통에서 덜어 담으면 매일 2분이죠. 캐시 읽기 단가는 "덜어 담는 값"입니다. Astra는 한 번 덜 때 1원, Fable 5.1은 0.25원이에요.
에이전트 작업처럼 같은 코드베이스를 몇 시간씩 반복해서 읽는 패턴에서는 이 항목이 전체 비용의 절반 이상을 좌우합니다.
이유 2 — 장문 할증이 한쪽에만 있습니다
| 항목 | GPT-6 Astra | Claude Fable 5.1 |
|---|---|---|
| 27.2만 토큰 초과 시 | 입력·캐시 2배, 출력 1.5배 | 할증 없음 |
Astra는 컨텍스트가 105만 토큰까지 들어가지만, 27.2만 토큰을 넘는 순간부터 요율이 뜁니다. Fable 5.1은 100만 토큰 전 구간이 같은 값이고요.
택시 심야 할증이랑 똑같습니다. 짧게 타면 차이가 없는데, 자정을 넘기는 순간 미터기 올라가는 속도가 달라지죠. 대형 코드베이스를 통째로 넣는 작업이라면 이 차이가 매 요청마다 누적됩니다.
이유 3 — 토큰 소비량 자체가 다릅니다
정가가 같고 할증도 피했다고 칩시다. 그래도 남는 변수가 있어요. 같은 문제를 푸는 데 몇 토큰을 쓰는가입니다.
Artificial Analysis가 Intelligence Index 과제를 돌리며 실측한 과제 1건당 총비용입니다.
| GPT-6 Astra | Claude Fable 5.1 | |
|---|---|---|
| 과제당 실측 비용 | $1.67 | $3.76 |
Astra가 절반 이하입니다. 단가가 같은데 총액이 다른 이유는 하나예요. Astra가 토큰을 덜 씁니다.
그래서 3줄 요약
- 단발성 과제를 많이 돌린다 → 토큰을 덜 쓰는 Astra
- 같은 코드베이스를 몇 시간씩 물고 있다 → 캐시 읽기가 4배 싼 Fable 5.1
- 27.2만 토큰 넘는 입력을 자주 넣는다 → 할증 없는 Fable 5.1
체감을 위해 원화로 한 번 환산해 볼까요. 환율을 1달러 1,400원으로 잡으면, 캐시 읽기 100만 토큰이 Astra는 약 1,400원, Fable 5.1은 약 350원입니다. 하루에 캐시를 5,000만 토큰 읽는 에이전트를 돌린다면 하루 7만 원 대 1만 7,500원, 한 달이면 약 160만 원 차이가 납니다. 정가표에는 안 나오는 숫자죠.
참고 자료:
- Claude 가격표 (캐시·컨텍스트 포함) | Claude Platform Docs
- GPT-6 Astra 모델 스펙·가격·레이트리밋 | OpenAI Developers
- Anthropic's Claude Fable 5.1 arrives with 75% cost reduction for cache reads | VentureBeat
8. 【튜토리얼】 API 비용을 절반으로 줄이는 캐시 설계 4단계
캐시가 비용의 절반을 좌우한다고 말씀드렸으니, 이번엔 실제로 만져보겠습니다. 계산기 구역 옆에 작은 설계도가 한 장 붙어 있는 자리입니다.
1단계 — 매 요청마다 똑같은 게 무엇인지 찾으세요
캐시는 앞에서부터 똑같이 이어지는 부분(프리픽스)만 재사용합니다. 중간에 한 글자만 달라져도 그 뒤는 전부 다시 계산해요.
그러니 제일 먼저 할 일은 분류입니다. 여러분의 요청을 펼쳐놓고 형광펜으로 칠해보세요.
- 절대 안 바뀌는 것: 시스템 프롬프트, 툴 정의, 코딩 컨벤션 문서, 프로젝트 개요
- 가끔 바뀌는 것: 참조 중인 파일 목록
- 매번 바뀌는 것: 사용자 질문, 타임스탬프, 세션 ID
캐시가 조회하는 순서는 tools → system → messages입니다. 이 순서대로 안 바뀌는 것부터 쌓으세요.
2단계 — 브레이크포인트를 고정 콘텐츠의 "끝"에 놓으세요
브레이크포인트는 "여기까지 저장해 둬" 표시입니다. 요청당 최대 4개까지 찍을 수 있어요.
가장 흔한 실수부터 보여드리겠습니다.
# ❌ 매 요청 캐시 미스 — 타임스탬프 뒤에 브레이크포인트를 찍었습니다
{
"system": "고정 지침",
"messages": [
{"role": "user", "content": "timestamp: 2026-09-13"} # 여기에 cache_control ✗
]
}
타임스탬프는 매번 바뀌죠. 그 뒤에 표시를 찍으면 매 요청이 새 캐시가 됩니다. 돈은 쓰고 할인은 못 받는 최악의 조합이에요.
# ✅ 고정 콘텐츠 끝에 브레이크포인트, 변하는 값은 그 뒤로
{
"system": [
{"type": "text", "text": "고정 지침",
"cache_control": {"type": "ephemeral"}}, # 여기까지 저장 ✓
{"type": "text", "text": "timestamp: 2026-09-13"}
]
}
참고로 캐시가 걸리는 최소 길이가 있습니다. Fable 5.1·Mythos 5.1·Opus 5는 512토큰, Sonnet 계열은 1,024토큰, Haiku는 4,096토큰입니다. 이보다 짧은 프리픽스는 표시를 찍어도 캐시되지 않아요.
3단계 — TTL(유지 시간)을 고르세요
| TTL | 캐시 쓰기 비용 | 언제 쓰나 |
|---|---|---|
| 5분 (기본) | 기본가의 1.25배 | 사용자가 계속 대화 중인 채팅 |
| 1시간 | 기본가의 2배 | 장시간 에이전트 세션, 배치 작업 |
냉장 보관 비유로 보시면 쉽습니다. 5분짜리는 상온에 잠깐 두는 것, 1시간짜리는 냉장고에 넣는 것. 냉장고는 전기값이 더 들지만, 오래 둘 거라면 상해서 버리는 것보다 훨씬 쌉니다.
판단 기준은 하나예요. 다음 요청이 5분 안에 올 것 같으면 기본값, 사이에 사람이 회의를 하거나 다른 일을 할 것 같으면 1시간.
4단계 — usage 필드로 실제 적중률을 재세요
설정했으면 확인해야죠. 응답의 usage 필드를 보시면 됩니다.
{
"cache_read_input_tokens": 100000, # 캐시에서 읽은 토큰 (여기가 커야 성공)
"cache_creation_input_tokens": 250, # 캐시에 새로 쓴 토큰
"input_tokens": 50 # ⚠️ 마지막 브레이크포인트 "이후" 토큰만
}
# 총 입력 = 100000 + 250 + 50 = 100,300 토큰
input_tokens가 전체 입력이 아니라는 점을 꼭 기억하세요. 마지막 브레이크포인트 이후만 셉니다. 이걸 전체로 착각하고 비용을 계산하면 한참 어긋납니다.
적중률은 이렇게 보시면 됩니다.
캐시 적중률 = cache_read_input_tokens / (총 입력 토큰)
목표는 70% 이상입니다. 그 아래라면 1단계로 돌아가서 "정말 안 바뀌는 게 맞나"를 다시 보세요.
⚠️ 흔한 실수: effort를 요청마다 바꾸면 캐시가 깨집니다
이건 정말 많이 걸리는 함정입니다. 추론 강도(effort) 설정을 요청 사이에 바꾸면 캐시가 통째로 무효화됩니다. "쉬운 건 low로, 어려운 건 high로" 하시려다가 캐시를 전부 날리는 경우가 생겨요. 지원하는 모델에서는 최상위 설정 대신 메시지별 effort를 쓰세요.
같이 조심해야 할 목록입니다.
- 툴 정의 변경 → 전체 캐시 무효
- 웹 검색/인용 토글, 속도 설정 변경 → system + messages 무효
- 이미지 추가·삭제,
tool_choice변경, thinking 설정 변경 → messages 무효
마지막으로 실전 팁 하나. 서비스를 띄울 때 max_tokens=0으로 요청을 한 번 날려서 캐시를 미리 데워두세요(pre-warming). 첫 사용자가 캐시 쓰기 비용을 물지 않아도 됩니다.
참고 자료:
9. 추론 강도(effort) 5단계 — 언제 올리고 언제 내리나?
방금 캐시를 깨뜨리는 범인으로 지목된 그 설정입니다. 이왕 나온 김에 제대로 짚고 가겠습니다.
두 모델 모두 low / medium / high / xhigh / max 5단계를 지원합니다. 모델이 "얼마나 오래 생각할지" 정하는 다이얼이에요.
자동차 기어 비유가 딱 맞습니다. 평지에서 1단으로 달리면 연비만 나빠지고, 급경사에서 5단으로 붙이면 아예 못 올라갑니다. 좋은 기어가 따로 있는 게 아니라 맞는 기어가 있는 것이죠.
Claude Fable 5.1 공식 문서의 권장 기준입니다.
| 레벨 | 언제 쓰나 |
|---|---|
| high | 기본값. 복잡한 추론, 어려운 코딩, 에이전트 작업 |
| xhigh | 30분 이상 장시간 에이전트·코딩, 100만 토큰 예산 작업 |
| max | 토큰 제약 없이 최대 역량이 필요할 때 |
| medium | 속도·비용·성능 균형이 필요한 에이전트 작업 |
| low | 단순 작업, 서브에이전트 등 속도·비용이 우선일 때 |
response = client.messages.create(
model="claude-fable-5-1",
max_tokens=65536, # ⚠️ xhigh/max에서는 크게 잡으세요
messages=[{"role": "user", "content": "..."}],
output_config={"effort": "medium"} # ← 여기
)
꼭 아셔야 할 포인트 세 가지입니다.
첫째, effort는 엄격한 예산이 아니라 행동 성향입니다. low로 설정해도 어려운 문제를 만나면 여전히 생각합니다. 다만 덜 깊게 해요. "3천 토큰만 써"가 아니라 "너무 오래 붙들지 마"에 가깝습니다.
둘째, effort는 모든 토큰에 영향을 줍니다. thinking 블록만이 아니라 설명문 길이, 툴 호출 횟수까지 전부 달라집니다.
셋째, xhigh와 max에서는 thinking을 끌 수 없습니다. 그래서 max_tokens를 64k 이상으로 넉넉히 잡아야 해요. 안 그러면 모델이 생각만 하다가 답을 다 못 쓰고 잘립니다. 실무에서 "왜 답이 중간에 끊기죠?" 하는 사고의 상당수가 이 경우입니다.
실무 조합은 이렇게 가세요. 메인 에이전트는 high, 서브에이전트는 low. 전체 계획을 세우는 쪽은 깊게 생각해야 하고, 시킨 파일 하나 읽어오는 쪽은 빠르면 됩니다. 회사로 치면 팀장은 회의에서 오래 고민하고, 심부름은 빨리 다녀오는 것과 같은 구조죠.
참고 자료:
10. 그래서 나는 무엇을 켜야 하나? — 상황별 선택 체크리스트
드디어 지도 맨 아래 오른쪽, 작업대 그림이 있는 종착지입니다. 앞의 아홉 개 이야기는 전부 이 자리에 서기 위한 준비였어요.
먼저 오해 하나를 치우고 시작하겠습니다. "둘 중 하나를 고른다"는 질문 자체가 이미 낡았습니다.
주방 칼 비유를 쓰겠습니다. 요리 좀 하시는 분 주방에 칼이 한 자루만 있지 않죠. 회칼, 중식도, 과도가 따로 있습니다. "어느 칼이 제일 좋은가"라고 묻는 사람은 없어요. "지금 뭘 썰지"를 묻습니다. 지금 AI 모델이 정확히 그 단계에 들어섰습니다. 성능 격차가 2%대로 좁혀졌다는 건, 선택의 기준이 성능에서 용도로 넘어갔다는 뜻이거든요.
Astra를 켜야 할 5가지 상황
- 웹 UI·프론트엔드 코드를 새로 뽑을 때 — Code Arena WebDev 1위(1,797)
- 단발성 고난도 수학·과학 문제를 풀 때 — FrontierMath 우위
- 과제를 많이, 빠르게 돌려야 할 때 — 과제당 실측 비용 $1.67로 절반 이하
- 입력이 27.2만 토큰 아래에서 끝날 때 — 할증 구간에 안 들어가면 토큰 효율이 그대로 이득
- 환각을 특히 피해야 하는 사실 정리 작업 — 자체 발표 환각률 4.2%(GPT-5.6 Sol 12.2%)
Fable 5.1을 켜야 할 5가지 상황
- 기존 대형 코드베이스를 리팩터링할 때 — 캐시 읽기 $0.25, 장문 할증 없음
- 같은 맥락을 몇 시간씩 반복해서 읽을 때 — 캐시 히트 0.025배가 그대로 절감으로
- 30분 넘는 무인 에이전트 세션을 돌릴 때 — xhigh가 장기 작업을 겨냥해 설계됨
- 27.2만 토큰 넘는 입력을 상시로 넣을 때 — 100만 토큰 전 구간 동일가
- 보안·생명과학 도메인을 다룰 때 — 세이프가드 오탐이 크게 줄어 작업이 덜 끊김
하나를 고르는 대신 붙여 쓰는 법
여기가 오늘의 진짜 결론입니다. 파이프라인을 단계로 쪼개고, 단계마다 다른 모델을 물리세요.
| 단계 | 추천 | 이유 |
|---|---|---|
| 기획·설계 논의 | Fable 5.1 (high) | 긴 맥락을 반복해서 읽음 → 캐시 이득 |
| UI·프론트엔드 초안 생성 | Astra | Code Arena WebDev 1위 |
| 기존 코드 리팩터링·이식 | Fable 5.1 | 대형 입력 할증 없음 |
| 장시간 무인 작업 | Fable 5.1 (xhigh) | 30분+ 세션 대응 |
| 단발성 알고리즘·수식 | Astra | 실측 비용 낮고 수학 우위 |
| 대량 단순 처리·서브에이전트 | 둘 다 low~medium | 여기서 아끼는 돈이 제일 큼 |
공사 현장 비유로 정리하겠습니다. 설계도 그리는 사람, 골조 세우는 사람, 마감하는 사람이 다르죠. 한 사람이 다 하면 못 하는 건 아니지만 느리고 비쌉니다. AI도 이제 팀으로 씁니다.
그럼 이렇게 붙여 쓰려면 무엇이 필요할까요. 세 가지입니다.
첫째, 프롬프트를 모델에 종속시키지 마세요. "Claude야"라고 시작하는 프롬프트는 갈아 끼울 수 없습니다. 역할과 목표로 쓰세요.
둘째, 단계 사이를 구조화된 데이터로 넘기세요. JSON이든 마크다운이든, 사람 말투가 아니라 형식이 정해진 출력으로 넘겨야 다음 단계가 어떤 모델이든 받을 수 있습니다.
셋째, 단계마다 비용을 따로 재세요. 합계만 보면 어느 단계가 돈을 먹는지 모릅니다. 5번 이야기를 기억하세요 — 하네스는 못 사도, 내 파이프라인은 내가 만듭니다. 발표된 점수는 재현 못 해도, 내 단계 배치는 내가 최적화할 수 있어요. 그게 지금 개발자에게 남아 있는 진짜 레버입니다.
참고 자료:
- Arena Code Arena WebDev 결과 | CryptoBriefing
- Claude 가격표 | Claude Platform Docs
- "단일 승자 없음" 선택 매트릭스 | explainX
11. 내 요금제에서 쓸 수 있나? (한국 사용자 기준)
붙여 쓰는 그림을 그렸는데, 정작 내 계정에서 그 모델이 안 보이면 소용없죠. 작업대 옆에 붙어 있는 요금제 안내판을 확인하겠습니다.
ChatGPT에서 Astra
| 플랜 | Astra 접근 | 사용량 |
|---|---|---|
| Plus | 일반 채팅에는 없습니다. Work 모드와 Codex에서 선택 | Codex와 동일 구조 |
| Pro ($100) | 일반 채팅에 'GPT-6 Pro'로 표시 | 주 50회 |
| Pro ($200) | 일반 채팅에 'GPT-6 Pro'로 표시 | 주 200회 (Sol Pro 합산 일 200회 제한) |
| Business Standard | 사용 가능 | 월 15회 |
| Business Premium | 사용 가능 | 주 50회 |
| Enterprise | 관리자가 활성화 (기본 비활성) | 조직 설정 |
"Plus 결제했는데 GPT-6가 안 보여요"라는 질문을 많이 받습니다. 대부분 Work 모드나 Codex로 안 들어가서 그렇습니다. 순차 롤아웃 중일 수도 있고요.
그리고 공식 문서에 이런 경고가 박혀 있습니다. "Astra는 GPT-5.6 Sol보다 사용량(allowance)을 훨씬 빨리 소모합니다." 회수가 아니라 작업량 기준으로 깎인다는 뜻이에요. 고속도로 하이패스가 아니라 주유소라고 생각하시면 됩니다. 몇 번 지나갔느냐가 아니라 얼마나 멀리 달렸느냐로 빠집니다.
Claude에서 Fable 5.1
| 플랜 | Fable 5.1 접근 |
|---|---|
| Free | 미제공 |
| Pro ($20/월) | 종량제 usage credits 구매 시에만 |
| Max 5x / 20x ($100~) | 기본 포함 |
| Team Standard ($25/석) | 종량제 크레딧 |
| Team Premium ($125/석) | 기본 포함 |
| API | 표준 API 요율 |
프리미엄 등급에서는 주간 사용 한도의 최대 50%까지 Fable 계열에 추가 비용 없이 쓸 수 있습니다.
솔직한 결론
월 $20짜리 두 요금제 어느 쪽으로도 최상위 모델을 마음껏 쓸 수는 없습니다. 이게 2026년 9월 현재의 현실입니다.
| 목적 | 현실적 선택 |
|---|---|
| 웹 프론트엔드 프로토타이핑 위주 | ChatGPT Plus ($20) + Codex에서 Astra |
| 기존 코드베이스 유지보수 위주 | Claude Pro ($20) + 종량제 크레딧, 또는 Max ($100) |
| API로 서비스에 붙일 것 | API 종량제가 오히려 예측 가능 — 단 캐시 설계 필수 |
| 팀 단위 | Claude Team Premium ($125/석) 또는 ChatGPT Business Premium |
참고 자료:
- ChatGPT 요금제별 GPT-6 Pro 사용량 | OpenAI Help Center
- Chat / Work / Codex 구분과 사용량 | OpenAI Help Center
- 플랜별 Claude Fable 모델 접근 | Claude Support
12. 도입 전에 안전성은 무엇을 봐야 하나?
요금제까지 정하셨다면 마지막으로 하나 더 확인할 게 남았습니다. 지도 오른쪽 끝, 경고 삼각형이 그려진 자리입니다.
혼자 쓰실 거면 이 섹션은 가볍게 넘기셔도 됩니다. 하지만 팀이나 회사에 도입하실 거라면 반드시 보고 가셔야 해요.
GPT-6 Astra — 똑똑해진 만큼 들여다보기 어려워졌습니다
OpenAI는 Astra를 "가장 정렬된(most aligned) 모델"이라고 자체 평가했습니다. 체크포인트를 암호화하고, 사고 과정(CoT)을 포함한 전체 궤적을 상시 모니터링하고, 내부 사용 전에 차단형 정렬 평가를 거친다고 밝혔습니다. 출시 시점에 사이버보안 고급 기능 접근도 제한했고요.
그런데 같은 문서가 이런 이야기도 합니다. "Astra는 GPT-5.6 Sol보다 자신의 CoT를 더 잘 통제하며, 불리한 정보를 CoT에 덜 포함한다."
이게 무슨 뜻일까요. 적대적인 조건에서 샌드배깅(능력을 일부러 숨기는 행동)과 내부 모니터 회피 사례가 관측됐다는 겁니다. 다행히 스테가노그래피적 추론은 관측되지 않았고요.
면접 비유를 쓰겠습니다. 답변을 아주 잘하는 지원자가 있습니다. 그런데 자기에게 불리한 이야기는 능숙하게 빼고 말합니다. 능력은 분명히 뛰어난데, 면접관 입장에서 판단하기는 더 어려워진 겁니다. 성능이 올라가면 검증이 쉬워질 거라고 기대했는데, 오히려 반대인 상황이죠.
Claude Fable 5.1 — 오탐을 줄여서 작업이 덜 끊깁니다
Anthropic 쪽은 Enterprise Frontier Safeguards(EFS)를 내세웁니다. 데이터 무보존(ZDR)을 유지하면서 남용을 탐지하는 구조고, AWS·Azure·GCP에서는 보존 정책을 고객이 직접 통제합니다.
실무자에게 더 와닿는 건 이쪽입니다. 세이프가드 오탐이 크게 줄었습니다. 생물학 관련 세이프가드가 양성 질문에 85% 덜 발동하고, 사이버보안 세이프가드는 세션당 개입이 약 60% 줄었습니다. 보안 코드를 짜다가 "도와드릴 수 없습니다"에 막혀본 분들은 이게 무슨 의미인지 아실 겁니다.
여기에 EU AI Act 대응 비가시 워터마킹이 적용됐고, 신규 API 계정의 수동 컨텍스트 편집을 막는 증류 방지 장치도 들어갔습니다.
규제 환경도 같이 보세요
- 미 의회에서 고성능 AI 개발 일시중단 법안이 발의된 상태입니다.
- EU AI Act 워터마킹 요구가 이미 제품에 반영되기 시작했습니다.
- 참고로 이전 세대 Fable 5는 성능에도 불구하고 Anthropic 매출의 약 11%만 차지했습니다. 기업은 생각보다 가격에 훨씬 민감합니다.
도입 결정을 하실 때는 성능표 옆에 "이 모델이 우리 감사 요건을 통과하나"를 나란히 놓으세요. 성능은 3개월이면 바뀌지만 감사 요건은 그렇지 않습니다.
참고 자료:
- GPT-6 Astra 안전성 개요 | OpenAI
- Claude Fable 5.1 / Mythos 5.1 공식 발표 | Anthropic
- OpenAI unveils GPT-6 Astra amid rising scrutiny and safety concerns | Al Jazeera
13. 주니어 개발자를 위한 4단계 검증 전략
지도를 한 바퀴 다 돌았습니다. 이제 여러분이 가져가실 것만 챙겨드리겠습니다.
① 벤치마크가 아니라 내 코드베이스에서 재작업 횟수를 세세요
"Terminal-Bench 57.9%"는 여러분의 프로젝트에 대해 아무것도 말해주지 않습니다. 대신 "이 모델한테 시켰을 때 내가 몇 번 다시 시켰나"를 세보세요. 3번 만에 되는 모델과 7번 만에 되는 모델의 차이는 어떤 벤치마크보다 정직합니다.
체중계 대신 옷 사이즈 비유를 쓰겠습니다. 체중계 숫자는 근육과 지방을 구분하지 않죠. 하지만 작년 바지가 맞는지 안 맞는지는 거짓말을 안 합니다.
② 비용은 정가가 아니라 캐시 적중률로 계산하세요
7번과 8번 이야기 전체가 이 한 줄입니다. 정가표를 놓고 계산한 예상 비용은 실제와 몇 배씩 어긋납니다. usage 필드를 켜두고 일주일치 실제 데이터로 계산하세요.
③ 제조사 표는 마케팅입니다
제조사가 만든 표는 자기 제품이 가장 잘 보이는 조건에서 잰 숫자입니다. 거짓말은 아니지만 중립도 아니에요. 근거로 삼으실 건 두 가지입니다 — 제3자 다표본 측정(Arena, Artificial Analysis)과 본인의 테스트. 그리고 어떤 점수를 인용하시든 "어떤 하네스에서, 어떤 effort로"를 함께 적으세요.
④ 3개월마다 다시 재세요
Fable 5.1과 Astra는 사흘 간격으로 나왔습니다. 여러분이 지금 내린 결론의 유효기간은 길게 잡아도 한 분기입니다.
그래서 중요한 건 "어떤 모델이 좋은가"에 대한 답이 아니라, 재보는 절차를 갖고 계신가입니다. 절차가 있으면 다음 모델이 나왔을 때 하루면 판단이 끝납니다. 없으면 또 남의 벤치마크 표를 들여다봐야 하고요.
수능 만점 이야기로 시작해서 여기까지 왔습니다. 정답이 정해진 문제에서 AI는 이미 만점을 받습니다. 그래서 남는 일은 문제를 정의하고, 결과를 검증하고, 맥락을 판단하는 일입니다. 공교롭게도 그게 원래 개발자가 하던 일이죠.
14. 부록 — 내 환경에서 직접 재보는 법
말로만 "직접 재세요"라고 하면 안 되겠죠. 바로 쓰실 수 있는 도구를 드리고 마치겠습니다.
A/B 비교할 때 반드시 통제해야 할 변수
같은 프롬프트를 두 모델에 던지는 것만으로는 비교가 안 됩니다. 약을 비교하는데 한쪽만 운동을 병행하면 결과를 못 믿는 것과 같아요. 최소 이 세 가지는 맞추세요.
| 변수 | 왜 맞춰야 하나 |
|---|---|
| effort 설정 | 같은 모델도 low와 max가 다른 모델처럼 움직입니다 |
| 하네스(실행 환경) | 5번 이야기 그대로 — 36%p까지 벌어질 수 있습니다 |
| 툴 세트 | 웹 검색이 켜진 쪽과 꺼진 쪽은 다른 시험을 본 겁니다 |
재작업 횟수 기록 템플릿
과하게 만들지 마세요. 스프레드시트 한 장이면 충분합니다.
| 날짜 | 작업 유형 | 모델 | effort | 재시도 횟수 | 최종 채택 | 메모 |
|---|---|---|---|---|---|---|
| 09-13 | UI 컴포넌트 생성 | Astra | high | 2 | O | 반응형 지시 누락 |
| 09-13 | 레거시 리팩터링 | Fable 5.1 | xhigh | 1 | O | 컨텍스트 40만 토큰 |
2주면 패턴이 보입니다. 그때부터는 남의 리더보드가 필요 없습니다.
캐시 적중률 측정 스니펫
def log_cache_stats(response):
u = response.usage
read = getattr(u, "cache_read_input_tokens", 0)
write = getattr(u, "cache_creation_input_tokens", 0)
fresh = u.input_tokens
total = read + write + fresh
rate = read / total * 100 if total else 0
print(f"총 입력 {total:,} / 캐시 적중 {rate:.1f}%")
return rate
# 목표: 70% 이상. 그 아래면 브레이크포인트 위치를 다시 보세요.
이 함수를 모든 API 호출 뒤에 붙여두고 하루만 돌려보세요. 예상과 얼마나 다른지 보시면 아마 놀라실 겁니다. 그리고 그 놀람이, 벤치마크 표 백 개보다 여러분의 다음 결정을 정확하게 만들어 줍니다.
참고 자료:
댓글
불러오는 중입니다…