수학 문제 풀이 AI, 클로드 math-olympiad 플러그인 리뷰: 문제 3개 18번 비교와 검증 에이전트 켜는 법

AI에게 수학 문제를 맡기면 그럴듯한 풀이가 나오지만, 그 풀이가 정말 맞는지는 따로 확인해야 합니다. math-olympiad는 Anthropic이 공식 플러그인 디렉터리에 올린 플러그인으로, 여러 AI 일꾼(에이전트, 클로드가 따로 띄우는 보조 작업자)이 따로 풀고 다른 일꾼이 그 풀이의 빈틈을 공격해 확인하게 만듭니다. 플러그인은 무료지만 일꾼 수만큼 클로드 사용량이 듭니다. 풀이 검증, 개수 세기, 국제수학올림피아드(IMO) 증명 문제 세 개를 플러그인 없이·깔아 두기만·스킬 이름 불러서·절차까지 지시해서 모두 18번 풀게 하고, 미리 정한 기준으로 채점했습니다.

결과부터 보기: 수학 문제 3개, 18번 풀이

영상은 세 문제, 깔아 두기만 한 결과, 스킬 이름을 불렀을 때의 답, 절차를 따르게 했을 때 움직인 일꾼들, 18번의 채점표 순서입니다.

직접 눌러 보기: 세 문제의 답을 먼저 골라 보고, 클로드가 조건마다 어떻게 답했는지 확인하기

따라 해 보기: 요청문과 실습 재료

가장 차이가 컸던 요청문입니다. 클로드 코드에서 문제만 바꿔 붙여 넣습니다. 클로드 코드가 처음이라면 클로드 코드 설치 방법을 먼저 보세요.

/math-olympiad:math-olympiad 국제수학올림피아드(IMO) 문제야. 답을 구하고 증명까지 써 줘.

문제: <풀고 싶은 문제>

스킬에 적힌 절차(여러 풀이 에이전트 → 생각 과정을 뺀 풀이만 넘긴 검증 에이전트 → 투표)를 건너뛰지 말고 그대로 따라 줘.

좋은 결과라면 답 끝에 “풀이 일꾼 몇 개가 같은 답을 냈고, 검증 일꾼 몇 명이 HOLDS(구멍 없음)를 냈다”는 검증 결과가 붙습니다. 마지막 줄을 빼면 이번 실험에서는 매번 일꾼 없이 혼자 풀었습니다. 실습 재료(zip)에는 세 문제의 요청문, 채점 기준, 정답을 컴퓨터로 직접 세어 보는 파이썬 파일(check_answers.py)을 넣었습니다.

math-olympiad에 들어 있는 것

터미널에서 claude plugin details math-olympiad로 구성을 보면 스킬 하나뿐입니다. 명령·에이전트·훅·MCP 서버는 없습니다. 클로드 코드는 늘 약 276토큰을 붙이고, 스킬이 불리면 약 6.9천 토큰을 더 읽는다고 예상합니다.

SKILL.md(411줄)에 적힌 절차를 우리말로 옮기면 이렇습니다.

단계	하는 일
1. 해석 확인	문제를 두세 가지로 읽어 보고, 쉬운 쪽으로 잘못 읽는 함정을 먼저 거릅니다.
2. 풀이 일꾼 여러 개	서로 다른 출발점(작은 경우, 극단적인 경우, 귀납법 등)으로 따로 풉니다. 일꾼에게는 “계산 도구 쓰지 말 것” 문구를 그대로 넣습니다.
3. 생각 과정 빼기	검증 일꾼에게는 시행착오를 뺀 깨끗한 풀이만 넘깁니다. 풀이 과정을 보면 맞다고 끌려가기 쉽기 때문입니다.
4~5. 공격하는 검증과 투표	검증 일꾼은 채점이 아니라 빈틈 찾기를 합니다. 최대 5명 중 4명이 “구멍 없음”이면 확정, 2명이 “구멍 있음”이면 탈락입니다.
6. 고치기와 깊이 모드	구멍이 나오면 고치는 일꾼이 최대 3번 고칩니다. 그래도 안 되면 작은 계산을 허용한 일꾼 하나가 더 붙습니다.
7. 답 보류	끝내 확인하지 못하면 “확신할 만한 풀이 없음”이라고 말하고, 증명한 부분만 남깁니다.
8. 다듬기	확인된 풀이를 짧고 읽기 좋게 고쳐 LaTeX로 씁니다. 이 맥에 pdflatex가 있으면 PDF도 만듭니다.

숫자 답만 내는 문제(AIME형)는 증명 절차 대신 풀이 5~7개의 다수결로 답을 정한다고 적혀 있습니다. 플러그인 README는 2025년 IMO·퍼트넘 문제 18개 중 17개를 풀었고 틀린 답을 맞다고 한 경우는 없었다고 밝혔습니다. 회사가 공개한 수치이고 이번에 확인하지는 않았습니다. README는 이 방식의 근거로 “Proof or Bluff” 논문(2025)을 듭니다. 2025년 미국 수학올림피아드(USAMO) 문제로 AI의 증명을 사람이 채점한 연구입니다.

모델별 일꾼 수는 두 문서가 서로 다릅니다. SKILL.md 요약표는 Sonnet이면 풀이 일꾼 4개, 참고 문서(model_tier_defaults.md)는 6개라고 적었습니다. 이번 실행에서는 두 번 다 4개였습니다.

1단계. 플러그인 설치하기 (약 1분)

이 단계에서는 공식 마켓에서 플러그인을 설치합니다. 터미널에서 문제를 풀 폴더로 가서 실행합니다. --scope local은 이 폴더에서만 켜는 설정입니다.

claude plugin install math-olympiad@claude-plugins-official --scope local

이렇게 나오면 성공 ✔ Successfully installed plugin: math-olympiad@claude-plugins-official (scope: local)(설치 성공, 이 폴더 범위)이 나옵니다.

• not found가 나오면: 클로드 코드 안에서 /plugin을 열어 공식 마켓(claude-plugins-official)이 등록돼 있는지 봅니다(플러그인 찾기 공식 문서).
• 클로드 앱(데스크톱·웹)에서는 플러그인 디렉터리에서 math-olympiad를 찾아 켤 수 있습니다(디렉터리 여는 법). 이번에는 클로드 코드에서만 시험했습니다.

필요 없어지면 같은 폴더에서 아래 명령으로 지웁니다.

claude plugin uninstall math-olympiad@claude-plugins-official --scope local

2단계. 깔아 두기만 하면 쓰일까: 요청 16번 (1분 안쪽씩)

이 단계에서는 플러그인 없이, 깔아 두기만, 스킬 이름 불러서 세 조건으로 16번 풀게 해 답이 달라지는지 봅니다. 문제는 세 가지입니다. 정답은 실행 전에 파이썬으로 직접 계산해 두었습니다.

• ① 풀이 검증: (x²+5)/√(x²+4)의 최솟값을 산술·기하 평균으로 2라고 한 풀이가 맞는지. 등호 조건을 놓친 흔한 실수이고 정답은 5/2입니다.
• ② 개수 세기: 1~1,000,000에서 n과 n+1의 자리 숫자 합이 둘 다 7의 배수인 n의 개수. 받아올림을 따져야 하고 정답은 12개입니다.
• ③ 증명: 2ⁿ+1이 n²으로 나누어떨어지는 양의 정수 n을 모두 구하기. IMO 1990년 3번이고 정답은 n = 1, 3입니다.

요청문에는 ①②는 “수학 경시대회 문제”, ③은 “국제수학올림피아드(IMO) 문제”라고 적었습니다. 채점 기준은 SKILL.md의 단계(해석·검증·확신 표시)와 정답에서 뽑아 실행 전에 고정했습니다. 마지막 칸 “확신 표시”는 답을 어떻게 확인했는지, 얼마나 확신하는지를 밝혔는지입니다.

과제	플러그인 없이	깔아 두기만	스킬 이름 불러서
① 풀이 검증(5점)	4 · 4	4 · 4	5 · 5
② 개수 세기(5점)	2 · 5	4 · 4	4 · 4
③ 증명(6점)	5 · 5	시험 안 함	6 · 5
정답	6번 모두	4번 모두	6번 모두
스킬 호출 · 일꾼 수	–	0 · 0	스킬 읽음 · 일꾼 0

③과 4단계의 “절차까지 지시” 조건은 ①②에서 일꾼이 움직이지 않는 것을 보고 추가했습니다. 그래서 ③은 깔아 두기만 한 조건으로 풀게 하지 않았습니다. 깔아 두기만 한 4번은 스킬 목록에 math-olympiad가 있었는데도 한 번도 부르지 않았습니다. 스킬 설명이 IMO·퍼트넘·올림피아드 같은 말에 반응하도록 쓰여 있어, “경시대회”라는 우리말 요청으로는 불리지 않은 것으로 보입니다. 답·시간은 플러그인이 없을 때와 같았습니다.

플러그인 없이 푼 ②의 두 번은 파이썬으로 1부터 1,000,000까지 직접 세어 12를 확인했습니다. 그런데 그중 한 번은 손 풀이 설명이 틀렸습니다. “끝의 9가 4개 또는 5개”라고 쓰고, 계산 결과로 답만 맞췄습니다. 답이 맞아도 풀이 설명은 따로 확인해야 하는 경우입니다.

①·②에서 이름 불러 쓴 쪽이 0.07달러어치로 0.12~0.13달러어치보다 쌌던 것은 클로드 쪽 캐시 상태 차이였습니다. 플러그인 효과로 보지 않았습니다.

3단계. 스킬 이름을 불러도 검증 일꾼은 안 움직였다

이 단계에서는 요청 앞에 /math-olympiad:math-olympiad를 붙여 스킬을 직접 부릅니다. 여섯 번 모두 스킬 설명서 전체가 대화에 들어갔지만, 일꾼을 하나도 띄우지 않고 혼자 풀었습니다. 여섯 번 모두 생략했다고 밝혔고, 다섯 번은 이유도 적었습니다.

실행 기록 · <작업 폴더>/logs/*-cmd*.jsonl · 생략했다고 밝힌 문장(발췌)

① 풀이 검증  "이 문제는 단순해서 다중 에이전트 검증은 하지 않고 직접 확인했습니다."
② 개수 세기  "문제가 간단해서 별도의 solver/verifier 에이전트 없이 직접 풀었습니다."
③ 증명      "참고로 스킬의 다중 에이전트 적대적 검증은 돌리지 않았습니다.
             잘 알려진 문제라 증명을 직접 쓰고 각 단계를 손으로 점검했습니다."

솔버(solver)는 풀이 일꾼, 베리파이어(verifier)는 검증 일꾼입니다. 생략했다고 스스로 밝힌 점은 정직했고, 채점의 “확신 표시” 칸에서 점수가 올랐습니다. 다만 사람이 기대한 “여러 일꾼이 서로 확인하는 절차”는 일어나지 않았습니다.

4단계. 절차를 그대로 따르게 하기 (약 2분)

이 단계에서는 위 요청문의 마지막 줄 “스킬에 적힌 절차를 건너뛰지 말고 그대로 따라 줘”를 붙여 ③ 증명 문제를 2번 시킵니다. 두 번 모두 스킬에 적힌 대로 움직였습니다.

• 풀이 일꾼 4개를 서로 다른 출발점(작은 경우, 가장 작은 소인수, 지수 보조정리, 일반화)으로 동시에 띄웠습니다.
• 네 일꾼이 모두 n = 1, 3을 냈고, 그중 하나의 풀이를 생각 과정 없이 검증 일꾼에게 넘겼습니다.
• 검증 일꾼 3명을 먼저 띄우고, 3명이 “구멍 없음”을 내자 확정 기준(4명)을 채우려고 1명을 더 띄웠습니다.
• 4명 모두 HOLDS(구멍 없음)였고, 마지막 답에 이 검증 결과를 붙였습니다. 다듬기와 PDF 단계는 건너뛰었다고 밝혔습니다.

실행 기록 · <작업 폴더>/logs/proof-full1.jsonl · 마지막 답의 검증 결과 부분

- 풀이 에이전트: 4개를 서로 다른 각도로 실행했고, 4개 모두 n = 1, 3 이라는 같은 답과
  같은 구조(최소 소인수 → p=3 → LTE → q=7 배제)의 증명을 냈습니다.
- 검증 에이전트: 생각 과정을 뺀 풀이 2번의 정제본만 넘긴 새 컨텍스트의 검증자 4명이
  모두 HOLDS(구멍 없음)를 냈습니다. 4 HOLDS 확정 기준을 충족했고 HOLE FOUND는 0건입니다.

이렇게 나오면 성공 답 앞이나 뒤에 풀이 일꾼 수, 검증 일꾼 수, HOLDS(구멍 없음)·HOLE FOUND(구멍 있음) 개수가 나옵니다.

대가는 시간과 사용량입니다. 같은 증명을 혼자 쓰면 1분이 채 안 걸리고 0.05~0.08달러어치였는데, 절차를 따르면 2분 가까이 걸리고 0.54·0.64달러어치가 들었습니다. 일꾼 8개도 모두 같은 Sonnet 5.5로 돌았습니다. 검증 일꾼 한 명은 “이 문제의 알려진 결과와 같다”고 적었습니다. 유명한 문제는 검증 일꾼도 기억에 기댈 수 있다는 뜻이라, 처음 보는 문제일수록 이 절차의 값이 커집니다.

이런 사람에게 권합니다

• ✅ 처음 보는 어려운 증명 문제를 다루면서, 답보다 “이 증명에 빈틈이 없는지”가 중요한 사람(올림피아드 준비, 수학 연구). 단 요청에 절차를 따르라는 문장을 꼭 넣어야 합니다.
• ✅ AI가 낸 풀이를 그대로 믿지 않고, 여러 번 따로 풀린 결과와 검증 표를 함께 받고 싶은 사람.
• ❌ 학교·수능 수준 문제를 빨리 풀이 받고 싶은 사람. 이번 세 문제는 플러그인 없이도 모두 맞혔습니다.
• ❌ 답이 숫자 하나인 문제. 이번에 ②는 여섯 번 모두 일꾼 없이 12를 맞혔고, 플러그인 없이 푼 두 번은 파이썬으로 1부터 1,000,000까지 직접 세어 확인했습니다.

한계와 주의할 점

• 문제 세 개를 Sonnet 5.5로 조건마다 두 번씩 풀었습니다. 세 문제 모두 플러그인 없이도 맞힌 수준이라, 플러그인이 틀린 답을 잡아내는 장면은 이번에 나오지 않았습니다. Opus나 더 어려운 문제에서는 결과가 다를 수 있습니다.
• ③은 유명한 기출 문제라 모델이 답을 이미 알고 있었을 가능성이 큽니다. 이름을 부른 한 번은 “잘 알려진 문제”라고 적었습니다.
• 구멍이 발견됐을 때의 고치기, 깊이 모드, 답 보류, LaTeX·PDF 단계는 이번 실행에서 일어나지 않아 확인하지 못했습니다. 이 단계 설명은 공식 문서 기준입니다.
• 일꾼마다 클로드 사용량이 따로 듭니다. 구독 요금제라면 사용 한도가 빨리 찹니다.

대안

방법	다른 점	이럴 때 고르세요
math-olympiad(이 글)	풀이 일꾼 여러 개 + 생각 과정을 뺀 검증 일꾼 투표. 절차를 따르라고 해야 움직임	처음 보는 증명 문제, 빈틈 확인이 중요할 때
플러그인 없이 클로드 코드	혼자 풀고, 필요하면 파이썬으로 계산. 이번 ②에서는 두 번 직접 세어 확인	보통 수준 문제, 빠른 풀이
“다른 방법으로 다시 풀어서 확인해 줘” 한 줄	같은 대화 안에서 한 번 더 확인. 생각 과정을 보고 확인하므로 스킬이 말하는 “끌려가기”는 막지 못함. 이번에는 시험하지 않음	사용량을 아끼면서 한 번 더 보고 싶을 때
discernment-nudge 스킬	답 끝에 “다시 확인해 볼 것” 질문을 붙여 사람이 가정을 점검하게 함	수학보다 예산·계획처럼 가정이 많은 답을 받을 때

스킬과 플러그인이 무엇인지는 클로드 스킬 사용법을 보세요.

자주 묻는 질문

수학 문제 풀이 AI로 클로드를 써도 되나요?

이번 세 문제(풀이 검증, 개수 세기, IMO 증명)는 조건과 관계없이 18번 모두 정답이었고, 플러그인 없이 푼 6번도 모두 맞았습니다. 다만 한 번은 답은 맞고 설명이 틀렸습니다. 답과 함께 풀이의 각 단계를 확인하는 습관이 필요합니다.

math-olympiad는 무료인가요?

플러그인 자체는 무료입니다. 일꾼을 띄울 때마다 클로드 사용량이 따로 들어, 절차를 다 돌리면 혼자 풀 때보다 10배쯤 들었습니다.

설치했는데 스킬이 안 불려요

이번에도 깔아 두기만 한 4번은 한 번도 안 불렸습니다. 요청 앞에 /math-olympiad:math-olympiad를 붙이고, 검증 일꾼까지 원하면 “스킬 절차를 건너뛰지 말고 그대로 따라 줘”를 덧붙입니다.

수능 수학 문제도 되나요?

스킬은 IMO·퍼트넘 같은 경시 증명 문제를 겨냥해 만들어졌습니다. ①처럼 등호 조건을 따지는 문제는 플러그인 없이도 잡아냈으므로, 수능 수준이라면 플러그인 없이 쓰는 편이 빠릅니다.

출처

math-olympiad 플러그인(공식 마켓, README), SKILL.md, Proof or Bluff(arXiv:2503.21934), 클로드 코드 플러그인 찾기 문서 (모두 2026-10-20 확인)