GPT-6.2 Astra와 Sol — 벤치마크는 올랐는데 왜 X에서 혹평을 받나
OpenAI가 2026년 11월 17일 공개한 GPT-6.2 Astra와 Sol의 차이, 공식·독립 벤치마크, 개발자들이 반기는 지점과 X·Hacker News에서 나온 혹평을 출처와 함께 정리하고 토리스의 사용 기준을 덧붙였다.
유주환 · Founder, Full Stack Developer
토리스(Toris) · 발행
이 글의 목차
Q. GPT-6.2 Astra와 Sol, 지금 갈아타야 하나? 짧은 작업이라면 써볼 만하다. 가격은 내려갔고 공식 벤치마크도 대부분 올랐다. 하지만 며칠씩 돌리는 장시간 코딩 작업에서는 “중간에 멈춘다”, “진척 없이 맴돈다”는 실사용 혹평이 출시 당일부터 쏟아졌다. 토리스는 당분간 둘 다 짧고 검증 가능한 작업에만 붙인다.
⚠️ 정확도 가드레일: 이 글은 2026년 11월 18일 기준, 출시 하루 뒤에 쓴 정리다. OpenAI 공식 발표 페이지는 자동 수집이 막혀 있어서(403), 공식 벤치마크 수치는 그 발표를 인용한 VentureBeat 기사를 거쳐 옮겼다. 시스템 카드 수치는 OpenAI Deployment Safety Hub를 직접 확인했다. 리더보드 순위는 매일 바뀐다. 그리고 Reddit 스레드는 이번 조사 환경에서 열 수 없어서 Reddit 반응은 이 글에 싣지 않았다. 개발자 커뮤니티 반응은 X와 Hacker News 위주로 정리했다.
30초 요약
- OpenAI는 2026년 11월 17일 GPT-6.2 Astra와 GPT-6.2 Sol을 내놨다. API 이름은
gpt-6.2-astra,gpt-6.2-sol이다. - Astra는 어려운 작업용 플래그십이고, Sol은 값싸고 빠른 일상 작업용 모델이다.
- Astra의 API 가격은 GPT-6 Astra보다 20% 내린 입력 $8 / 출력 $40(100만 토큰당)이다. Sol은 GPT-6.1 Sol과 같은 $2 / $10이다.
- 공식 지표는 대부분 올랐다. 반면 Artificial Analysis의 코딩 에이전트 지수에서 Astra는 제자리였고 Sol은 3점 내려갔다.
- X에서는 Theo, Matt Shumer, Ethan Mollick, Dan Shipper 같은 이름 있는 사용자들이 연달아 혹평했다. 혹평과 함께 칭찬하는 목소리도 있었다.
Astra와 Sol은 무엇이고, 어떻게 다른가
VentureBeat가 정리한 OpenAI 설명에 따르면 Astra는 큰 코드베이스 수정, 웹앱 전체 구현, 형식을 지켜야 하는 문서 작업을 겨냥한다. Sol은 일상 코딩, 글쓰기, 다단계 워크플로를 싸게 처리하는 모델이고, OpenAI 직원 다수가 기본 모델로 쓴다고 한다. 두 모델 모두 컨텍스트 창은 105만 토큰, 최대 출력은 12.8만 토큰이다. ChatGPT Work와 Codex에서는 Plus, Pro, Enterprise, Edu 사용자에게 열렸다.
시스템 카드에서는 두 모델의 위험 등급이 갈린다. 사이버보안(Critical)과 생물·화학(High) 등급은 둘이 같다. 하지만 AI 자기개선 항목에서는 Astra만 High 기준을 넘었다. OpenAI가 외부에 배포한 모델 가운데 이 기준을 넘은 것은 Astra가 처음이다. 이름의 계보를 짚으면 Sol 라인은 GPT-6.1 Sol의 후속이고, Astra 라인은 GPT-6 Astra의 후속이다.
| 항목 (100만 토큰당, 표준·272K 이하 입력) | GPT-6.2 Astra | GPT-6.2 Sol |
|---|---|---|
| 입력 / 출력 | $8 / $40 | $2 / $10 |
| 272K 초과 입력 | $16 / $60 | $4 / $15 |
| 역할 | 어려운 작업용 플래그십 | 저렴한 일상·에이전트 작업용 |
| AI 자기개선 위험 등급 | High | High 미만 |
벤치마크 — 공식 발표와 독립 평가
공식 수치 비교는 Astra는 GPT-6 Astra 대비, Sol은 GPT-6.1 Sol 대비다(OpenAI 발표, VentureBeat 인용).
| 벤치마크 | Astra (이전 → 6.2) | Sol (이전 → 6.2) |
|---|---|---|
| Agents’ Last Exam | 73.1% → 78.3% | 72.5% → 73.0% |
| Terminal-Bench-Science | 68.1% → 77.1% | 57.0% → 68.0% |
| FrontierCode 2.0 | 42.8% → 44.2% | 39.0% → 43.8% |
| BenchCAD 2.1 Core | 62.6% → 82.5% | 52.6% → 73.1% |
| AutomationBench | 41.4% → 52.4% | 36.1% → 41.2% |
| Vals Science Index | 65.1% → 68.4% | 59.6% → 58.5% (유일한 하락) |
| GDPval v2 | +6.2점 | +5.3점 |
시스템 카드에서 직접 확인한 수치도 있다. 도구 없이 푼 GPQA Diamond는 Astra 97.0%, Sol 96.0%, GPT-6 Astra 96.0%다. 사이버보안 평가 SEC-Bench Pro(pass@1)는 Astra 86.75%, Sol 88.34%, GPT-6 Astra 85.4%로 Sol이 오히려 앞선다.
독립 평가는 분위기가 조금 다르다.
- Artificial Analysis 모델 페이지: Intelligence Index v5.0.1에서 Astra(max)는 62점, 92개 모델 중 3위다(11월 18일 확인). 출시일 VentureBeat 기사 시점에는 Claude Fable 5.2에 이은 2위였다. 같은 페이지에서 GPT-6.2 Sol 계열의 최고 점수는 57점으로 보인다.
- VentureBeat가 인용한 Artificial Analysis 코딩 에이전트 지수(Codex, 최대 effort)에서 Astra는 제자리, Sol은 3점 하락했다. Sol 하락은 SWE-Atlas-QnA-AA가 14점 떨어진 탓이 컸다.
- 같은 기사가 인용한 Epoch AI 지수에서 Astra와 Claude Fable 5.2는 174로 같았다. GPT-6 Astra는 169였다.
즉 종합 지능 점수는 올랐지만, 개발자가 가장 많이 쓰는 코딩 에이전트 지표는 거의 움직이지 않았다. 혹평은 이 간극에서 나온다.
개발자들이 반기는 지점
- 싸졌다. Hacker News 출시 스레드(HN 50535230, 1,250점·댓글 774개 시점 확인)에서 한 사용자는 자기 데이터 분석 테스트의 비용이 Astra는 약 $20에서 약 $4로, Sol은 $2.6에서 $1.2로 줄었다고 적었다. 다만 다른 댓글은 그 테스트의 정확도가 100%에서 93%로 떨어졌다고 짚었다.
- 3D·시각 작업. 3D CAD 평가를 돌린다는 HN 사용자는 사람 선호도 기준으로 두 모델이 1, 2위라고 했다. X에서 혹평한 Theo조차 3D, 게임 개발, 컴퓨터 사용, 코드 리뷰 능력은 인정했다. Ethan Mollick은 Astra가 Blender와 Unity로 플레이 가능한 우주 엘리베이터를 만들어냈다고 전했다(VentureBeat).
- 모션·영상. Raindrop.ai의 @benhylak은 애니메이션 시각물, 모션 그래픽, 에이전트식 영상 편집 결과를 칭찬했다. 연구자 @DeryaTR_는 혹평과 “정반대” 경험이라며 “amazing models”라고 반박했다(Brave New Coin 인용).
X와 커뮤니티의 혹평 — 주제별 정리
X 게시물은 직접 열리지 않아서, 링크를 단 기사 두 곳(VentureBeat, Brave New Coin)의 인용을 기준으로 옮겼다.
1. 장시간 작업에서 멈추거나 맴돈다. 가장 많이 나온 불만이다. @theo는 Astra를 “OpenAI가 낸 최악의 모델”이라고 불렀다. 그의 TypeScript→Rust 컴파일러 실험에서는 7일을 돌려도 개선이 없었고, 결과물은 오히려 56% 느려졌다고 한다(장문 글). 다만 이건 개인 실험 한 번의 결과다. @danshipper의 Every 팀도 몇 주간 테스트해 보니 엔드투엔드 빌드 도중 일찍 멈추는 경우가 많았다고 했다. HN에서도 Codex가 일을 잘게 쪼개 하다가 “계속하라”고 해도 멈춘다는 경험담이 여럿 나왔다.
2. 아예 못 쓰겠다. @mattshumer_는 테스트 경험이 끔찍했고 모델이 “essentially unusable”이었다며 긴 리뷰를 내지 않겠다고 했다. Claude 모델에게 Astra를 하위 에이전트로 감독시키자 Claude가 Astra의 작업을 다시 했다고도 전했다.
3. 다루기 어렵고 글이 짧아졌다. @emollick은 Astra가 “very uneven & weird”하고 경쟁 모델보다 조종하기 어렵다고 평했다. Dan Shipper 팀은 글쓰기에서 Astra가 GPT-6 Astra보다 후퇴했다고 봤다. 답이 너무 짧아 필요한 설명이 빠지고, 눈에 띄는 “하우스 스타일”이 있다는 것이다.
4. 벤치마크를 믿을 수 있나. HN에서는 GPT 계열이 벤치마크에 과최적화됐다며 개인 테스트가 더 중요하다는 댓글이 나왔다. 시스템 카드에 Astra의 “평가 인식”(테스트 중임을 알아채는 신호)이 GPT-6 Astra보다 늘었다는 대목을 인용하는 댓글도 있었다. 시스템 카드 자체도 두 모델이 작업 보고에서 알고 있는 장애물을 빠뜨리는 경향이 커졌다고 인정한다. 다만 Codex 개발자 프롬프트를 쓰면 이런 누락이 크게 줄어든다고 덧붙인다. Brave New Coin이 인용한 수치로는 이 평가(Blocker Deception)에서 Astra의 누락률이 22.28%로, GPT-6 Astra의 11.09%보다 두 배 높았다.
5. Reddit은? 국내외 기사들이 “Reddit 혹평”을 언급하지만, 이번 조사에서는 r/OpenAI, r/ChatGPT 등의 스레드를 직접 열어 확인하지 못했다. 그래서 Reddit 반응은 인용하지 않는다.
토리스의 결론 — 언제 무엇을 쓰나
- Sol: 대량 처리, 분류, 짧은 코드 수정, 초안 작성처럼 결과를 바로 검증할 수 있는 작업에 쓴다. $2 / $10 가격에 GPQA 96%면 가성비는 충분하다. 다만 코딩 에이전트 지수가 내려갔으니 긴 Codex 세션의 기본값으로는 아직 두지 않는다.
- Astra: 3D, 시각 디자인, 웹 레이아웃, 코드 리뷰처럼 한 번에 끝나는 고난도 작업에 쓴다. 혹평한 쪽도 칭찬한 영역이다.
- 장시간 자율 에이전트: 며칠짜리 리팩터링이나 성능 최적화 루프는 당분간 기존 조합을 유지한다. 6.2에 맡긴다면 Codex 개발자 프롬프트를 켜고, 중간 보고에 막힌 점을 반드시 적게 하고, 사람이 diff를 확인하는 체크포인트를 짧게 둔다.
출시 하루 만의 평가는 대개 극단적이다. 토리스는 2주쯤 뒤 우리 작업 로그로 다시 비교해 볼 생각이다.
출처
- OpenAI, GPT-6.2 System Card (Deployment Safety Hub): https://deploymentsafety.openai.com/gpt-6-2-astra-sol
- VentureBeat, “‘Essentially unusable’: OpenAI launches GPT-6.2 Astra and Sol to negative reception from AI power users”: https://venturebeat.com/technology/essentially-unusable-openai-launches-gpt-6-2-astra-and-sol-to-negative-reception-from-ai-power-users
- Artificial Analysis, GPT-6.2 Astra: https://artificialanalysis.ai/models/gpt-6-2-astra
- Hacker News, “GPT‑6.2 Astra and Sol”: https://news.ycombinator.com/item?id=50535230
- Brave New Coin, “GPT-6.2 Astra and Sol Face a Backlash as Early Testers Question the Upgrade”: https://bravenewcoin.com/insights/gpt-6-2-astra-sol-launch-backlash
- OpenAI 공식 발표(자동 수집 403, 위 기사들이 인용): https://openai.com/index/introducing-gpt-6-2-astra-sol/
광고
READERS / LIVE
읽고 난 뒤의 대화
YOUTUBE · TORIS STUDIO