모의 심사 보고서
원고: 생성형 AI 사용이 대학생의 학업 성취에 미치는 영향 (석사논문 요약본)
모드: full (5개 심사 관점 + 편집 종합)
참고: 사용자 요청에 따라 Phase 0의 심사자 구성 카드 확인 단계는 생략했습니다. 아래 구성은 제가 정한 그대로 진행했으며 사용자 확인을 거치지 않았습니다.
0. 범위(Coverage)와 심사자 구성
- 읽은 범위: paper.md 전체(초록~참고문헌). 원자료, 설문지 원문, 분석 코드, 부록은 제공되지 않아 읽지 못함.
- 분야: 교육학/교육공학 (보조: 사회과학 양적 방법론)
- 패러다임·방법: 양적 연구. 단일 시점 온라인 설문(횡단), t검정과 일원분산분석.
- 투고 대상: 국내 학회지(KCI급 수준) 가정. 구체적 학회지는 지정되지 않아 저널 적합성은 일반 기준으로 판단했습니다.
| 좌석 |
관점 |
| 저널적합성 심사자 |
독창성, 기여, 독자 관련성 |
| 심사자 1 (방법론) |
표집, 측정, 통계, 재현성 |
| 심사자 2 (분야) |
문헌, 이론틀, 기여 |
| 심사자 3 (관점) |
실천·정책 함의, 윤리, 이해관계자 |
| 악마의 변호인 |
핵심 주장 반박, 논리 오류 |
이해관계자 범위: 관점 심사자(3)가 담당합니다. 논문이 정책 대상으로 삼는 "전국 대학"과 "학생" 중 AI 비사용·저사용 학생, 교수자, 학과별 차이가 논의에서 빠져 있습니다.
이 보고서는 AI가 역할을 나눠 시뮬레이션한 심사입니다. 같은 모델이 모든 좌석을 수행했으므로 다섯 관점의 의견이 일치해도 독립적인 오류 검증으로 볼 수 없습니다. 실제 심사 결과를 예측하거나 대신하는 것도 아닙니다.
1. 편집 결정 (Editorial Decision)
현 상태로는 게재 불가 (Reject, 대폭 수정 후 재투고 권고)
주된 이유
1. 횡단 설문의 상관(집단 간 평점 차이)을 "향상시킨다", "입증하였다"는 인과 주장으로 바꿨습니다. 설계가 이를 지지하지 못합니다.
2. 원고 안에서 수치가 서로 맞지 않습니다. 대상자 수가 초록 92명, 방법 87명으로 다르고, 집단 n의 합(41+29=70)이 분석 대상(87)과 맞지 않으며 나머지 17명의 처리도 없습니다.
3. 연구 문제 2의 핵심 변인인 "사용 방식"이 측정 도구에 정의되어 있지 않고, 12회 검정에 다중비교 보정이 없습니다.
4. 단일 대학, 두 수업의 편의표집으로 "전국 대학 일반화"와 "의무 도입" 정책 제언을 하는 것은 결론이 근거 범위를 크게 넘습니다.
다만 연구 주제는 시의성이 있고, 가설과 분석 계획을 명시하는 구조가 있어 설계를 고치면 기술적(descriptive) 연관성 연구로는 살릴 수 있습니다.
강점
- 국내 대학생을 대상으로 한 실증 자료를 다루려는 문제의식은 타당하고 시의성이 있습니다(서론).
- 연구 문제와 분석 방법의 대응이 형식상 명확합니다(3.3).
- 측정 도구와 집단 구분 기준(주 5회 이상/주 1회 이하)을 구체적으로 적었습니다.
2. 필수 수정 사항 (Critical / Major)
C1. 인과 주장이 설계로 지지되지 않음 [CRITICAL]
- 위치: 초록 "향상시킨다는 것을 보여 준다", 1장 "향상시키는 효과를 밝히는 것", 5장 "실증적으로 입증하였다"
- 문제: 횡단 설문에서 사용 빈도와 평점의 집단 차이는 연관성일 뿐입니다. 다음 대안 설명이 배제되지 않았습니다.
- 역인과 또는 선택: 학습 의욕이 높거나 디지털 활용에 능숙한 학생이 AI를 더 자주 쓸 수 있습니다.
- 교란변수: 전공, 학년, 이전 학업 수준, 학습 시간, 성별, 과제 유형.
- 시간 순서 불일치: 사용 빈도는 "지난 한 달"(2026년 9월 시점)이고 평점은 "직전 학기"입니다. 성적이 사용 측정보다 앞선 시점이라, 오히려 "성적이 사용을 예측했을 가능성"이 열려 있습니다.
- 제안: 인과 표현을 모두 "연관"으로 낮추거나, 통제변수를 넣은 회귀분석(이전 학기 성적 통제, 가능하면 종단 설계)으로 보완하십시오. 제목의 "영향"도 "관련성"으로 조정하는 것을 권합니다.
C2. 표본 수와 집단 구성의 불일치 [CRITICAL]
- 위치: 초록(92명), 3.1(112명 응답, 87명 분석), 3.2(n=41, n=29)
- 문제: 92와 87이 불일치합니다. 41+29=70이므로 17명(약 20%)이 어느 집단에도 속하지 않는데 이를 설명하지 않았습니다(주 2~4회 사용자로 추정되나 원고에 명시가 없음). 응답 112명 중 25명을 제외한 기준도 없습니다.
- 제안: 제외 기준과 흐름도(112→87→70)를 제시하고 숫자를 통일하십시오. 중간 집단을 버린 이유를 밝히고, 사용 빈도를 연속변수로 쓰는 분석(상관·회귀)이나 3집단 분석을 함께 제시하십시오. 극단 집단만 비교하면 효과가 과대평가됩니다.
C3. 연구 문제 2의 측정 누락과 다중비교 [MAJOR]
- 위치: 연구 문제 2, 3.2, 3.3, 4.2
- 문제
- "사용 방식(요약·번역·코딩·글쓰기 등)"을 어떻게 측정했는지 3.2에 없습니다. 복수 응답인지, "주로 사용하는 것" 하나인지, 집단별 n도 알 수 없습니다.
- 12개 변인에 각각 분산분석을 돌리면서 유의수준 보정이 없습니다. 보정 없이 α=.05이면 우연히도 평균 0.6개가 유의하게 나올 수 있고, 12개 중 2개 유의는 우연과 구분하기 어렵습니다. 본페로니 기준(.05/12≈.004)으로는 어느 결과도 통과 여부를 알 수 없습니다.
- 정확한 F값, 자유도, p값, 효과크기, 사후검정이 없습니다. "가장 높았다"는 서술은 사후비교 없이는 근거가 없습니다.
- 글쓰기 자신감·과제 만족도는 "학업 성취"가 아니라 자기보고 태도 변인입니다. 연구 문제 2를 "학업 성취 관련 변인"으로 부르는 것도 개념적으로 느슨합니다.
- 제안: 측정 방식을 명시하고, 사전에 가설을 정한 소수 변인으로 줄이거나 보정(Bonferroni/Holm/FDR)을 적용하고, 효과크기(η²)와 사후검정을 보고하십시오.
C4. 일반화와 정책 제언의 비약 [CRITICAL]
- 위치: 초록 마지막 문장, 5장 2~3문장
- 문제: 근거는 수도권 A대학 교양 수업 두 개의 자원 응답자입니다. 자발적 응답이므로 AI에 관심이 많거나 성적이 좋은 학생이 더 응답했을 가능성(응답 편향)이 있습니다. 이 자료로 "전국 대학은 적극 도입해야 한다", "글쓰기 수업에 의무 도입", "전국 대학생에게 일반화할 수 있다"고 쓰는 것은 외적 타당도를 심하게 넘습니다. 게다가 글쓰기 "효과"는 연구가 측정한 적 없는 인과 주장이며, 근거는 자기보고 자신감과 만족도의 집단 차이뿐입니다.
- 제안: 일반화 문장을 삭제하고 한계 절을 신설하십시오. 정책 제언은 "추가 검증이 필요한 가설" 수준으로 낮추십시오.
M1. 통계적 결과 보고가 불충분 [MAJOR]
- 위치: 4.1
- 문제: t=2.11, n=41/29이면 자유도 68에서 p≈.04로 경계 수준입니다. 평균(3.71 vs 3.42)만 있고 표준편차, 신뢰구간, 효과크기(Cohen's d), 등분산 검정(Welch 여부)이 없습니다. 차이 0.29점(4.5 만점)의 실질적 의미도 논의되지 않았습니다. 이 정도 p값은 표본 몇 명의 변화나 분석 선택에 쉽게 달라질 수 있으며 "p<.05"로만 쓰면 정보가 부족합니다.
- 제안: 정확한 p값, d와 95% CI, 정규성·등분산 가정 점검, 가능하면 비모수 검정 병행을 제시하십시오. 사전 표본 크기 산정(검정력 분석)도 필요합니다.
M2. 측정의 타당도 [MAJOR]
- 위치: 3.2
- 문제
- 사용 빈도는 1문항 자기보고입니다. 기억 오차와 사회적 바람직성 편향이 있고, "사용"의 정의(검색형 대화, 과제 대행, 학습 보조 등)가 없습니다. 사용 시간과 목적이 빠져 있어 "빈도"만으로 학습 효과를 말하기 어렵습니다.
- 평점은 응답자가 직접 기입했습니다. 학교 기록이 아니므로 허위·오기 가능성이 있고, 학과별 평점 분포 차이도 통제되지 않았습니다.
- 12개 변인은 각 1문항이라 신뢰도(내적 일치도)를 산출할 수 없습니다. 자기효능감, 시험 불안 같은 구성개념은 검증된 척도로 측정해야 합니다.
- 제안: 검증된 척도 사용 또는 최소한 신뢰도와 타당도 근거 제시, 가능하면 학교 기록 평점 확보(IRB 승인 하에), 사용 정의를 설문 안내에 명시.
M3. 이론적 배경과 가설의 논리 비약 [MAJOR]
- 위치: 2장
- 문제: 선행 연구를 두 편만 인용했습니다. 근거는 "디지털 도구가 자기주도 학습을 돕는다(김OO, 2024)", "생성형 AI는 학습 시간을 줄여 준다(Lee, 2025)"인데, 이 둘로 "학업 성취가 높아질 것"을 도출할 수 없습니다. 학습 시간 단축은 성적 향상과 별개이고, 오히려 학습 깊이를 해칠 수 있다는 반대 문헌(인지적 오프로딩, 과제 대행, 표절 우려)을 다루지 않았습니다. 기존에도 생성형 AI 사용과 학습 성과를 다룬 국내외 실험·준실험 연구가 있으므로, "국내 실증 연구가 부족하다"는 서론 주장은 문헌 검토로 뒷받침해야 합니다. 또한 가설이 구체적으로 진술되지 않고 "예상된다"로만 끝납니다.
- 제안: 체계적 문헌 검토(최소 20편 내외)와 이론틀(예: 자기조절학습, 인지부하, SAMR 등)을 보강하고, 연구 문제별 가설을 명시하십시오.
M4. 연구 윤리 정보 누락 [MAJOR]
- 위치: 3.1
- 문제: IRB 승인 여부, 동의 절차, 개인정보 처리, 수업 수강생을 대상으로 한 설문의 강제성 여부(교수와 학생의 권력관계), 참여 보상이 기재되지 않았습니다. 석사논문 요약본을 학회지에 낼 때는 필수 항목입니다.
- 제안: 윤리 항목을 방법 절에 추가하십시오.
3. 권고 수정 사항 (Minor / Suggested)
- 참고문헌 검증: 참고문헌이 2편뿐입니다. 이 중 "김OO"은 저자명이 가려져 있어 투고 전 실명으로 복원해야 합니다. 두 문헌의 서지 정보(권호·쪽수)와 인용 내용이 실제 문헌과 일치하는지는 제가 확인하지 못했습니다. 저자께서 원문과 대조해 주십시오
[unverified].
- 제목·초록·본문의 용어 통일: "사용 빈도", "사용 방식", "학업 성취"의 조작적 정의를 3.2에 모아 쓰십시오. "학업 성취"는 평점 하나로 대리하고 있으므로 "학업 성적"으로 좁히는 편이 정확합니다.
- 초록에 방법, 표본 크기, 효과크기, 한계를 포함하고 "따라서 ~해야 한다"는 규범적 문장은 제거하십시오.
- 서론의 "많은 학생이 쓴다"는 서술에는 통계 출처가 필요합니다.
- 표(기술통계, t검정 결과, ANOVA 결과)와 그림(집단별 평점 분포)을 추가하십시오.
- 데이터 및 분석 코드의 공개 또는 요청 시 제공 방침을 밝히면 재현성이 높아집니다.
4. 심사자별 요약
저널적합성 심사자
주제는 시의성이 높지만 현재 기여는 "한 대학의 자기보고 설문에서 사용 빈도와 평점이 관련 있었다"에 그칩니다. 결론이 근거를 크게 넘어서므로 학회지 수준에는 미달입니다. 한계를 인정한 기술적 연구로 재구성하거나 설계를 보강하면 적합성이 올라갑니다.
심사자 1 (방법론)
핵심 문제는 인과 추론, 표본 수 불일치, 극단 집단 비교, 다중비교, 보고 불충분(SD·효과크기), 1문항 자기보고 측정입니다. 시간 순서 불일치(최근 한 달 사용 vs 직전 학기 평점)는 특히 중대합니다.
심사자 2 (분야)
문헌 검토가 사실상 없는 수준입니다. 두 편의 인용에서 가설을 도출하는 논리가 약하고, 생성형 AI의 부정적 학습 효과 문헌과 AI 리터러시·활용 방식(보조 vs 대행)에 따른 차이 연구를 다루지 않았습니다. 사용 방식 분석(RQ2)은 흥미로운 방향이지만 이론적 근거가 없습니다.
심사자 3 (관점)
의무 도입 제언은 평점이 아닌 학습의 질, 형평성(접근성·유료 서비스 격차), 학문적 진실성, 교수자 부담을 고려하지 않았습니다. AI 저사용 학생이 불이익을 받을 가능성과 학과별 차이도 논의되지 않았습니다. 정책 제언은 연구 범위 밖의 판단입니다.
악마의 변호인
가장 강한 반론: 이 결과는 "성적이 좋은 학생이 AI를 더 많이 쓴다"로도 똑같이 설명됩니다. 성적(직전 학기)이 사용 측정(최근 한 달)보다 먼저 일어난 변수이므로, 데이터가 오히려 반대 방향의 인과(성취 → 사용)나 공통 원인(학습 동기·디지털 역량)과 더 잘 맞습니다. 또 AI가 과제와 시험 준비를 대신해 주는 경우에도 자기보고 성적이 오를 수 있어 "학습 향상"과 "성적 향상"이 구분되지 않습니다.
| 이슈 |
등급 |
위치 |
| 상관을 인과로 서술, 대안 설명 미배제 |
CRITICAL |
초록, 5장 |
| 일반화와 의무 도입 정책 제언이 표본으로 지지되지 않음 |
CRITICAL |
초록, 5장 |
| 12개 검정 다중비교 미보정, 선택적 보고 소지 |
MAJOR |
4.2 |
| 중간 집단 제외(극단 집단 비교)로 효과 과대 |
MAJOR |
3.2 |
| "글쓰기에서 효과가 가장 크다"는 효과 추정 없이 서술 |
MAJOR |
4.2, 5장 |
누락된 이해관계자 관점: AI 저사용 학생, 교수자, 비수도권·비교양 수강 학생, 학업 성실성 관리 부서.
DA CRITICAL 2건은 모두 위 C1, C4에서 타당한 것으로 판정했습니다. 따라서 이 보고서는 Accept로 갈 수 없습니다.
5. 수정 로드맵 (우선순위 순)
| 순서 |
항목 |
유형 |
| 1 |
표본 수 통일 및 흐름도(112→87→70), 제외 기준 명시 (C2) |
필수 |
| 2 |
인과 표현 제거, 제목·초록·결론 재작성 (C1) |
필수 |
| 3 |
일반화·정책 제언 삭제, 한계 절 신설 (C4) |
필수 |
| 4 |
통제변수 포함 회귀분석 및 연속 변수 분석 추가, 효과크기·SD·CI 보고 (M1) |
필수 |
| 5 |
RQ2 측정 방식 명시 및 다중비교 보정, 사후검정 (C3) |
필수 |
| 6 |
문헌 검토 확충, 가설 명시화 (M3) |
필수 |
| 7 |
측정 타당도·신뢰도 보강, 평점 출처 명시 (M2) |
필수 |
| 8 |
윤리 승인·동의 절차 기재 (M4) |
필수 |
| 9 |
참고문헌 서지 확인, 저자명 복원, 표·그림 추가 |
권고 |
참고: 가능하다면 추가 자료(여러 대학·학과, 학교 기록 평점, 2회 이상 측정)를 확보하는 것이 가장 효과적입니다. 자료 확장이 어렵다면 "한 대학 사례의 탐색적 연관성 연구"로 위상을 낮추고 한계를 분명히 적는 방향을 권합니다.
6. 심사 방법과 한계
- 이 심사는 제공된 요약본 텍스트만 근거로 했고, 원자료와 분석 코드, 설문지는 확인하지 못했습니다.
- 통계 점검 중 p≈.04는 보고된 t값과 집단 크기로 제가 개략 계산한 값이며 원자료로 재현한 것이 아닙니다.
- 외부 문헌 데이터베이스 조회, 참고문헌 존재 여부 확인은 수행하지 않았습니다.
- 이 보고서는 모의 심사이며 실제 학회지 심사 결과를 보장하지 않습니다.
- 원고(paper.md)는 수정하지 않았습니다(읽기 전용).