논문 AI 심사, 투고 전 클로드가 1분 만에 허점 9곳 짚었다

석사 논문을 학회지에 내기 전에 누군가 심사위원 눈으로 먼저 봐 주면 좋겠다는 생각이 듭니다. 지도교수에게 몇 번씩 묻기는 어렵고, 유료 첨삭은 비쌉니다. 오픈소스 논문 스킬 묶음 academic-research-skills(아카데믹 리서치 스킬)의 academic-paper-reviewer는 클로드에게 학회 모의 심사를 시키는 무료 스킬입니다(클로드 유료 요금제 사용량을 씀). 2026-11-19 클로드 코드(Claude Code)로 가상 논문 요약본을 심사받아, 어디까지 짚는지와 스킬이 무엇을 더하는지 확인했습니다.

세 줄 요약
  1. 스킬 없이 2번, 스킬로 2번, 4번 모두 심어 둔 허점 9곳(인과 과장, 효과크기 누락, 다중 비교, 숫자 불일치 등)을 다 짚었습니다. 스킬 없이는 한 번에 1분 안팎이었습니다.
  2. 스킬을 넣으면 심사위원 5명(편집 적합성·방법론·분야·관점·반론 담당)으로 역할을 나눈 보고서가 나옵니다. 문제마다 등급과 위치가 붙고, 가장 강한 반론과 빠진 이해관계자를 따로 적습니다.
  3. 대신 1~2분으로 길어지고 사용량은 1.7배쯤 들었습니다. 라이선스는 비영리(CC BY-NC 4.0)입니다.

결과부터 보기: 같은 논문을 심사한 4개

심사받은 원고는 “생성형 AI 사용이 대학생의 학업 성취에 미치는 영향”이라는 가상 석사 논문 요약본입니다. 대학·저자·숫자는 모두 지어낸 것입니다. 학위 논문에서 심사위원이 자주 지적하는 허점을 9곳 넣고, 같은 요청으로 스킬 없이 2번, 스킬로 2번 심사를 받았습니다.

심어 둔 문제원고에서
상관인데 인과로 씀한 번 설문한 결과로 “향상시킨다”, “입증하였다”
다른 원인을 통제 안 함원래 성적·학년·전공을 보지 않음
효과크기·신뢰구간 없음t=2.11, p<.05만 적음
다중 비교변인 12개를 하나씩 검정하고 유의한 2개만 보고
과잉 일반화한 대학 교양 두 반 응답으로 “전국 대학생에게 일반화”, “의무 도입”
빠진 응답자112명 응답 중 87명만 분석, 이유 없음
사라진 중간 집단41명+29명=70명, 주 2~4회 쓰는 17명이 비교에서 빠짐
숫자 불일치초록 92명, 본문 87명
측정 문제평점을 학생이 직접 적음, 변인마다 1문항

채점은 이 9곳을 짚었는지에, 게재 판정과 우선순위 있는 수정 목록을 줬는지 1개를 더해 10개 기준으로 했습니다.

왼쪽 스킬 없이 1회차, 오른쪽 academic-paper-reviewer 스킬 1회차가 쓴 심사 보고서 · Claude Code · 소넷 5.5 · 생각 깊이 중간

직접 읽어 보기: 심사받은 원고 · 스킬 없이 1 · 스킬 없이 2 · 스킬 1 · 스킬 2. 클로드가 쓴 review.md 내용을 고치지 않고 웹 화면으로만 바꿨습니다.

조건걸린 시간사용량(API 단가)채점(10점)판정보고서 길이
스킬 없이 11분 안팎0.20달러10대폭 수정 후 재심사4,800자쯤
스킬 없이 21분 안팎0.21달러10대폭 수정 후 재심사(게재 불가 수준)5,500자쯤
스킬 11~2분0.33달러10게재 불가, 대폭 수정 후 재투고7,700자쯤
스킬 21~2분0.37달러10대폭 수정(현 상태 게재 불가)9,500자쯤

직접 실행 확인한 날짜 2026-11-19

실행 환경
macOS 26.1 · Claude Code 2.1.299 · 소넷(Sonnet) 5.5 · 생각 깊이 중간 (4번 모두 같은 설정)
설치 난이도
클로드 코드에서 명령 두 줄(플러그인) 또는 폴더 5개 복사
비용
스킬 무료, 클로드 유료 요금제 사용량을 씀
라이선스
CC BY-NC 4.0(비영리만) · Imbad0202/academic-research-skills 3.24.3(GitHub 별 5만 7천 개 남짓, 2026-11-19 기준)

스킬 없이도 짚은 것

생각보다 많은 부분이 같았습니다. 4번 모두 9곳을 빠짐없이 짚었고, 판정의 방향도 “지금 상태로는 게재 어렵다”로 같았습니다. 용어는 스킬 1회차만 게재 불가(Reject), 나머지는 대폭 수정(Major Revision)이었습니다.

채점 기준 밖의 지적도 겹쳤습니다. 평점은 “직전 학기”, AI 사용은 “지난 한 달”이라 시간 순서가 거꾸로라는 점을 4번 모두 짚었습니다. 연구 윤리 심의(IRB) 기재가 없다는 점도 4번 모두 적었습니다. 보고된 t값과 인원으로 효과크기(Cohen의 d)를 0.5쯤으로 거꾸로 계산해 보인 것은 4번 중 3번이었습니다(스킬 1회차는 p값만 계산). 참고문헌 두 편의 서지 정보를 투고 전에 다시 확인하라는 지적도 스킬 없이 2번 모두 있었습니다.

스킬이 없어도 클로드는 파일을 읽고 바로 review.md를 썼습니다. 도구는 파일 읽기 한 번, 쓰기 한 번이 전부였습니다.

스킬을 넣으면 달라지는 3가지

스킬을 넣은 두 번은 요청에 “심사”라는 말이 있자 스스로 academic-paper-reviewer 스킬을 불렀습니다. 스킬 문서에 “논문 심사”, “모의 심사” 같은 한국어 호출 말이 적혀 있습니다. 짚은 문제는 같았고, 보고서의 짜임이 달라졌습니다.

① 심사위원 5명으로 나눈 보고서

스킬은 먼저 논문 분야(교육공학, 양적 연구)를 판단하고 심사위원 구성을 정합니다. 학회지 적합성 심사자, 방법론 심사자, 분야 심사자, 관점 심사자, 그리고 일부러 반대편에 서는 “악마의 변호인(Devil’s Advocate)”입니다. 보고서에는 이 다섯 의견과 편집 종합 판정이 따로 실립니다. 스킬 2회차는 다섯 심사자의 보고서를 각각 길게 쓴 뒤 편집 결정을 붙였습니다.

② 문제마다 등급·위치, 가장 강한 반론

지적마다 CRITICAL(치명)·MAJOR(중대) 등급과 원고 위치(초록, 4.2절 등)가 붙습니다. 악마의 변호인 칸은 “이 결과는 성적이 좋은 학생이 AI를 더 쓴다로도 똑같이 설명된다”처럼 저자가 꼭 답해야 할 반론 하나를 세웁니다.

스킬로 쓴 심사 보고서의 악마의 변호인 칸. 가장 강한 반론 문단, CRITICAL과 MAJOR 등급이 붙은 문제 표, 빠진 이해관계자 목록이 보인다
academic-paper-reviewer 스킬 1회차 보고서의 “악마의 변호인” 칸. 가장 강한 반론, 등급 붙은 문제 목록, 빠진 이해관계자 · Claude Code · 소넷 5.5 · 생각 깊이 중간

③ 빠진 사람과 스스로의 한계를 적음

관점 심사자는 “의무 도입” 제언에서 빠진 사람을 짚었습니다. AI를 덜 쓰는 학생, 교수자, 유료 서비스 비용 격차 같은 것입니다. 스킬 없이 쓴 두 보고서에는 이런 칸이 없었습니다.

보고서 첫머리에는 “같은 모델이 역할만 나눠 썼으므로 다섯 의견이 일치해도 독립된 검증이 아니다”라고 밝혔습니다. 참고문헌이 실제로 있는지는 확인하지 못했다며 [unverified](확인 안 됨) 표시도 달았습니다. 스킬 문서가 이렇게 밝히라고 정해 둔 형식입니다.

academic-research-skills에 들어 있는 것

Cheng-I Wu가 만든 플러그인입니다. 이번에 쓴 심사 스킬 말고도 자료 조사부터 논문 쓰기·수정까지 잇는 스킬이 함께 들어 있습니다. 아래는 claude plugin details로 뽑은 구성입니다.

들어 있는 것하는 일
academic-paper-reviewer이번에 쓴 모의 심사. 전체 심사·빠른 심사·방법론만·재심사·질문으로 이끄는 심사 등 6가지 방식
academic-paper논문 쓰기. 구조 짜기, 초안, 초록(한영), 인용 형식, 심사 의견 반영 수정
deep-research주제 조사, 문헌 검토, 체계적 문헌 고찰
academic-pipeline조사 → 쓰기 → 심사 → 수정 → 마무리를 한 줄로 잇는 흐름
sr-screener체계적 문헌 고찰에서 논문 선별
명령 16개/ars-plan(논문 구조 대화), /ars-reviewer(심사), /ars-lit-review(문헌 검토), /ars-abstract(초록) 등. 플러그인으로 깔면 쓸 수 있음
에이전트 4개·훅 2개조사 정리용 에이전트, 세션 시작 안내와 파일 쓰기 범위 검사 훅

플러그인으로 깔면 늘 차지하는 분량은 대화마다 1,840토큰쯤입니다. 심사 스킬을 부르면 1만 3천 토큰쯤이 더 읽힙니다(claude plugin details 추정치).

복사해 쓰는 요청문과 실습 자료

아래 요청문을 스킬 없이·있이 똑같이 보냈습니다. 마지막 문장이 중요합니다. 이 스킬은 심사위원 구성을 보여 준 뒤 “이대로 할까요?” 하고 멈추게 되어 있습니다. 확인을 건너뛰라고 직접 적어야 한 번에 끝까지 갑니다.

paper.md는 제 석사 논문 요약본입니다. 학회지에 내기 전에 심사자 관점에서 심사해 주세요. 결과는 review.md에 써 주세요. 심사자 구성 확인은 건너뛰고 끝까지 진행해 주세요.

좋은 답이라면 인과 과장, 통계 보고 누락, 표본 숫자 불일치, 일반화 과잉을 원고 위치와 함께 짚고, 판정과 고칠 순서를 줍니다. 스킬이 불렸다면 심사위원 5명의 칸과 악마의 변호인 칸이 따로 보입니다.

실습 자료 내려받기(paper-review-practice.zip): 허점 9곳을 심은 가상 논문 요약본, 요청문, 채점 기준을 넣었습니다.

1단계. 스킬 넣기 (약 1분)

이 단계에서는 클로드 코드에 스킬을 넣습니다. 공식 README가 권하는 방법은 플러그인 설치입니다. 클로드 코드 대화창에서 두 줄을 차례로 입력합니다.

/plugin marketplace add Imbad0202/academic-research-skills
/plugin install academic-research-skills

이렇게 나오면 성공 별도 설정 폴더에서 같은 설치를 터미널 명령(claude plugin install)으로 해 보니 아래처럼 나왔습니다.

✔ Successfully added marketplace: academic-research-skills (declared in user settings)
✔ Successfully installed plugin: academic-research-skills@academic-research-skills (scope: user)

논문 폴더에서만 쓰고 싶으면 저장소를 내려받아 스킬 폴더 5개(academic-paper-reviewer, academic-paper, academic-pipeline, deep-research, sr-screener)를 그 폴더의 .claude/skills/에 복사합니다. 공식 설치 안내의 “프로젝트 스킬” 방법이고, 이번 비교 실험은 이 방법으로 했습니다. 이때는 /ars- 명령과 훅은 들어오지 않습니다.

  • 플러그인으로 깔면 세션을 시작할 때마다 새 버전이 있는지 GitHub에서 확인합니다. 끄려면 터미널 설정에 ARS_UPDATE_CHECK=0을 넣습니다.
  • 필요 없어지면 /plugin uninstall academic-research-skills로 지우거나, 복사한 경우 .claude/skills/의 5개 폴더를 지웁니다.

2단계. 논문 파일 주고 심사 받기 (약 1~2분)

이 단계에서는 심사 보고서 파일을 받습니다. 논문을 마크다운이나 텍스트 파일(paper.md 등)로 저장한 폴더에서 claude를 켜고 요청문을 보냅니다. 플러그인으로 깔았다면 /ars-reviewer 뒤에 요청을 적어도 됩니다.

cd 논문-폴더
claude
# 대화창에 요청문 붙여 넣기

이렇게 나오면 성공 클로드가 스킬을 부르고 1~2분 뒤 review.md를 만듭니다. 맨 위에 판정, 아래에 심사위원별 보고서와 고칠 순서가 있습니다. 원고 파일은 고치지 않습니다. 스킬 규칙에 “심사자는 원고를 고치지 않는다”가 있습니다.

  • 심사위원 구성만 보여 주고 멈추면 “구성 확인했어, 끝까지 진행해”라고 답합니다.
  • 방법론만 빨리 보고 싶으면 “방법론만 봐 줘”, 15분짜리 빠른 심사는 “빠르게 봐 줘”처럼 요청합니다. 스킬 문서의 방식 고르기 표에 있는 말입니다. 이번에는 전체 심사만 해 봤습니다.

채점은 실행 전에 이 스킬의 통계 보고 기준과 악마의 변호인 점검 항목에서 뽑아 정해 둔 10개 기준으로 했습니다.

실행 기록 · <작업 폴더>/runs.tsv, <작업 폴더>/model-effort.log

# 읽기 쉽게 줄여 적은 명령. 스킬 조건은 폴더에 .claude/skills/ 5개 폴더가 있는 것만 다름
claude -p "$(cat request.txt)" --model claude-sonnet-5-5 --effort medium \
  --setting-sources project,local --permission-mode acceptEdits --output-format stream-json --verbose

run	sec	cost_usd	turns	out_tokens	tools	skill_called	score10	chars
none-1	52	0.20	3	6163	Read,Write	False	10	4812
none-2	60	0.21	3	7107	Read,Write	False	10	5525
skill-1	75	0.33	5	9203	Read,Skill,Write	True	10	7663
skill-2	98	0.37	5	12323	Skill,Read,Write	True	10	9475

이런 사람에게 권합니다

  • ✅ 학위 논문·학회지 원고를 내기 전에 심사위원별 시각과 반론을 미리 받아 보고 싶은 대학원생. 등급과 위치가 붙어 고칠 순서를 정하기 좋습니다.
  • ✅ 조사부터 초안·수정까지 클로드 코드로 이어서 할 사람. 같은 묶음 안의 쓰기·문헌 검토 스킬과 이어 쓸 수 있습니다.
  • ❌ 통계·논리 허점만 빨리 짚고 싶은 사람. 스킬 없이 “심사위원 관점에서 봐 줘”만 해도 이번에는 9곳을 다 짚었고 더 싸고 빨랐습니다.
  • ❌ 회사 업무나 유료 서비스에 넣으려는 사람. 비영리 라이선스(CC BY-NC 4.0)라 상업적으로 쓸 수 없습니다.

한계와 주의할 점

  • 조건마다 2번씩, 짧은 요약본 하나로 해 본 결과입니다. 수십 쪽짜리 실제 논문에서는 차이가 다르게 나올 수 있습니다.
  • 심어 둔 문제가 교과서에 나오는 것들이라 스킬 없이도 다 짚었을 수 있습니다. 분야 지식이 깊이 필요한 문제는 시험하지 않았습니다.
  • 이번에는 스킬이 심사위원을 따로 띄우지 않고 한 대화 안에서 역할만 바꿔 썼습니다. 스킬 스스로도 같은 모델의 의견이라 독립된 검증이 아니라고 밝힙니다.
  • 참고문헌이 실제로 있는지, 인용 내용이 맞는지는 4번 모두 확인하지 않았습니다. 이 부분은 직접 대조해야 합니다.
  • AI 모의 심사는 실제 학회 심사 결과를 대신하지 않습니다. 학회마다 AI 사용을 밝히라는 규정이 있으면 따라야 합니다.

대안

이름다른 점이럴 때 고르세요
클로드에 요청만설치 없음, 심사 의견서 한 편허점을 빨리, 싸게 짚을 때
academic-paper-reviewer(이 글)심사위원 5명·반론·등급·고칠 순서투고 전 여러 시각의 심사를 받아 볼 때
academic-research-skills-codex같은 내용을 코덱스용으로 묶은 자매 배포판코덱스(Codex)를 쓸 때. 이번에 써 보지 않음
클로드 doc-coauthoring 스킬질문을 주고받으며 문서를 같이 씀심사보다 초안 쓰기를 도움받을 때

자주 묻는 질문

클로드 앱(채팅)에서도 쓸 수 있나요?

공식 설치 안내에 따르면 유료 요금제에서는 claude.ai와 클로드 데스크톱 앱의 플러그인 목록으로도 같은 플러그인을 넣을 수 있습니다. 다만 일반 채팅에서는 훅과 에이전트가 돌지 않는다고 적혀 있습니다. 이번에는 클로드 코드에서만 써 봤습니다.

한글 논문도 되나요?

이번 원고와 요청 모두 한국어였고, 보고서도 한국어로 나왔습니다. 스킬 설명에 “논문 심사”, “모의 심사” 같은 한국어 호출 말도 들어 있습니다.

PDF나 한글(hwp) 파일을 그대로 줘도 되나요?

이번에는 마크다운 파일로만 해 봤습니다. hwp는 텍스트나 PDF로 바꿔 주는 편이 안전합니다.

무료인가요?

스킬은 무료입니다. 클로드 코드는 클로드 유료 요금제나 API 사용량이 필요합니다. 사용량은 위 결과 표에 적었습니다.

출처

Imbad0202/academic-research-skills 저장소, 한국어 README, academic-paper-reviewer SKILL.md, 설치 안내 SETUP.md (2026-11-19 확인)