심사 의견서
논문: 생성형 AI 사용이 대학생의 학업 성취에 미치는 영향
심사 대상: paper.md (석사 논문 요약본)
심사 관점: 학회지 투고 전 사전 심사 (심사자 구성 확인은 요청에 따라 생략)
1. 총평 및 권고
권고: 게재 불가에 가까운 대폭 수정 후 재심사 (Major Revision, 현 상태로는 Reject 수준)
주제는 시의성이 높고 국내 실증 연구가 부족하다는 문제의식도 타당합니다. 그러나 현재 원고는 횡단 설문의 집단 간 상관 결과를 "영향/향상/입증"이라는 인과 주장으로 비약하고 있고, 표본 수 불일치, 측정 시점 불일치, 다중검정 문제 등 결과 자체의 신뢰성을 훼손하는 결함이 있습니다. 결론의 정책 제언(전국 대학 도입, 글쓰기 수업 의무화)은 자료가 뒷받침하지 못합니다. 결론의 수위를 크게 낮추거나 설계를 보완해야 합니다.
2. 주요 문제 (게재 여부를 좌우하는 사항)
2.1 인과 추론의 비약 (가장 심각)
- 설계는 한 시점의 설문이며, 비교한 것은 사용 빈도별 두 집단의 평균 평점 차이뿐입니다. 이 결과는 "연관성"만 보여 줍니다.
- 초록의 "향상시킨다는 것을 보여 준다", 5장의 "실증적으로 입증하였다"는 근거가 없습니다. 제목의 "영향"도 같은 문제입니다.
- 대안 설명이 전혀 다뤄지지 않았습니다.
- 역인과/선택 효과: 성적이 높거나 학습 동기가 강한 학생이 AI를 더 자주 쓸 수 있습니다.
- 교란 변인: 전공, 학년, 기존 학업 능력, 디지털 역량, 학습 동기, 성별, 경제적 배경 등을 통제하지 않았습니다.
- 반대 방향 가설도 가능합니다. AI에 과의존하면 성취가 떨어질 수 있으나 검토하지 않았습니다.
- 이론적 배경도 "종합하면 높일 것으로 예상된다"는 결론 선취로 끝나며, 이를 반증할 수 있는 가설이 설정되어 있지 않습니다.
2.2 측정 시점의 불일치
- 사용 빈도는 "지난 한 달"(2026년 9월 기준)을 물었고, 학업 성취는 "직전 학기 평점"입니다.
- 성적이 먼저 형성된 뒤 측정된 AI 사용 빈도가 성적을 "향상"시켰다고 해석할 수 없습니다. 시간 순서상 원인이 결과보다 뒤에 있습니다.
- 직전 학기의 AI 사용 이력이 측정되지 않았으므로, 이 불일치만으로도 인과 해석은 성립하지 않습니다.
2.3 표본 수의 불일치와 분석 대상 불투명
- 초록은 92명, 3.1절은 응답 112명 중 분석 사용 87명, 3.2절의 집단 합은 41+29=70명입니다. 서로 맞지 않습니다.
- 112명에서 87명(또는 92명)으로 줄어든 제외 기준과 사유(결측, 불성실 응답, 중복 등)가 없습니다.
- 주 2~4회 사용자(약 17명 이상)는 분석에서 사라졌습니다. 이는 양극단만 비교하는 임의 이분화로, 연속 변수의 정보를 버리고 결과를 과장할 위험이 있습니다. 분할 기준의 근거도 없습니다.
- 응답률과 비응답 편향에 대한 논의가 없습니다.
2.4 통계 결과 보고의 부족 및 효과 크기
- 평균(3.71 vs 3.42)만 제시하고 표준편차, 신뢰구간, 효과 크기가 없습니다. 보고된 t=2.11, n=41/29(df=68)로 역산하면 Cohen's d≈0.5, p≈.04로, 유의수준 경계에 있는 중간 정도 효과입니다.
- 등분산 검정 여부, 정규성 가정, 평점 상한 효과 등 가정 검토가 없습니다.
- 이 정도의 경계 수준 결과를 "전국 대학이 도입해야 한다"는 결론의 근거로 삼을 수는 없습니다.
- 공변량을 통제한 다변량 분석(공분산분석, 회귀분석 등)이 필요합니다.
2.5 연구 문제 2의 다중검정 문제와 측정 누락
- 12개 변인에 각각 일원분산분석을 수행하고 2개가 p<.05라고 보고했습니다. 보정 없이 12회 검정하면 귀무가설이 모두 참이어도 우연히 유의한 결과가 약 0.6개, 하나 이상 나올 확률이 약 46%입니다. 2/12는 우연으로 설명될 가능성이 큽니다. Bonferroni(α≈.004) 등 보정이 필요하며, 정확한 p값 제시가 필요합니다.
- "사용 방식"(요약·번역·코딩·글쓰기 등)을 어떻게 측정했는지 3.2절에 없습니다. 주 사용 방식을 분류했다면 그 문항, 중복 응답 처리, 집단별 n이 필요합니다.
- 사후검정 없이 "글쓰기 용도 집단이 가장 높았다"고 서술했습니다. 일원분산분석의 F값, 자유도, 효과 크기, 사후검정이 모두 빠져 있습니다.
- "글쓰기 용도에서 효과가 가장 크다"는 결론은 연구 문제 1(평점)의 결과도 아니고, 대상 변인(글쓰기 자신감, 과제 만족도)은 성취가 아닌 주관적 인식입니다. 따라서 "효과"로 부를 수 없습니다.
- 12개 변인(진로 확신, 학교 만족도, 코딩 자신감 등)은 "학업 성취 관련 변인"으로 선정한 이론적 근거가 없고 각 1문항입니다. 신뢰도·타당도 근거가 없습니다.
2.6 일반화 불가능
- 수도권 A대학 교양 수업 2개의 수강생에게 링크를 배포한 편의 표집입니다(자발적 응답 112명).
- 5장의 "전국 대학생에게 일반화할 수 있다"는 표집 설계상 불가능합니다. 단일 대학, 단일 학기, 교양 수업 수강생이라는 한계로 한정해야 합니다.
3. 세부 방법론 지적
- 자기보고 평점: 응답자가 직접 적은 평점은 기억 오류와 사회적 바람직성 편향이 있습니다. 가능하면 학적 자료(동의 하에) 활용 또는 신뢰도 근거를 제시해야 합니다.
- 1문항 사용 빈도: 신뢰도 확인이 어렵고, "생성형 AI 사용"의 정의(검색형 포함 여부, 학습 목적/비학습 목적)가 없습니다. 사용 시간·목적·과제 제출 시 활용 여부 등 구체 정보가 필요합니다.
- 학업 부정행위 편향: 수업에서 AI 사용 규정이 있다면 응답이 왜곡될 수 있고, 이 사안의 민감성을 고려한 익명성 보장 설명이 필요합니다.
- 성취 개념의 협소성: 평점만으로는 학습 성과를 대표하지 못합니다. AI 사용으로 평점은 오르나 실제 역량은 그렇지 않을 가능성(과의존·학습 대체)도 논의해야 합니다.
- 연구윤리: IRB 승인 또는 면제 여부, 연구 참여 동의 절차에 관한 기술이 없습니다. 학회지 투고 시 필수입니다.
- 교수·수업 요인: 두 교양 수업이라는 군집 구조(수업 간 평점 분포 차이)를 무시했습니다. 수업이 교란이 될 수 있으므로 수업 변수를 통제해야 합니다.
- 기술 시점: 직전 학기 평점이 4.5 만점이라는 점은 명시했으나, 평점 분포(천장 효과, 이상치)가 제시되지 않았습니다.
4. 이론적 배경 및 선행 연구
- 근거가 두 편뿐이며, 각각 "디지털 도구 일반"과 "학습 시간 감소"에 관한 것으로 연구 문제(AI 사용→성적)와 직접 연결되지 않습니다.
- "학습 시간을 줄여 주는 것"은 성취 향상의 근거가 아닙니다. 오히려 학습 시간 감소는 학습량 감소일 수도 있습니다.
- 생성형 AI와 학습 성과에 관한 국내외 실험·준실험 연구, 부정적 결과(인지적 오프로딩, 과의존, 비판적 사고 저하)를 보고한 문헌이 누락되어 있어 문헌 검토가 한쪽으로 치우쳤습니다.
- 인용 표기에 문제가 있습니다. "김OO"는 저자명이 가려진 상태이며, 최종 투고본에서는 반드시 실명으로 정정해야 합니다. 두 문헌 모두 서지 정보(권·호·쪽)가 실제와 일치하는지 투고 전에 재확인하십시오.
- 연구 문제와 가설의 연결, 개념 틀(예: 자기조절학습, 인지 부하 이론 등)이 없습니다.
5. 결론 및 정책 제언의 문제
| 원고 주장 |
문제점 |
| "향상시킨다는 것을 입증" |
횡단 상관만 확인, 인과 불가 (2.1, 2.2) |
| "글쓰기 용도에서 효과가 가장 크다" |
성취가 아닌 자기인식 변인, 보정 없는 12회 검정, 사후검정 없음 (2.5) |
| "글쓰기 수업에 의무 도입" |
연구가 검증한 바 없는 개입에 대한 정책 제안 |
| "전국 대학생에게 일반화" |
단일 대학 편의 표집 (2.6) |
| "교육 정책 수립의 근거" |
효과 크기·불확실성 미제시, 한계 논의 부재 |
또한 연구의 한계 절이 아예 없습니다. 학술지 투고 시 필수입니다.
6. 형식 및 서술
- 초록(92명), 방법(87명), 집단 합(70명)의 수치 통일이 우선입니다.
- 연구 문제 2의 결과를 보고한 4.2절은 통계량(F, df, 정확한 p, 효과 크기, 집단별 평균·SD)을 표로 제시해야 합니다.
- 서론의 "많은 학생이 쓴다"는 서술은 근거 자료(통계/문헌)가 필요합니다.
- 연구 목적 문장에 "향상시키는 효과를 밝히는 것"이라고 적어 결론을 미리 전제했습니다. "관련성을 탐색"하는 중립적 표현으로 바꾸십시오.
- 주제어에 "자기효능감", "자기보고" 등 실제 분석 변인을 반영하는 것이 좋습니다.
7. 수정 권고 사항 (우선순위 순)
- 인과 표현 전면 수정: "영향/향상/입증"을 "관련/연관"으로 바꾸고, 제목도 예컨대 "생성형 AI 사용 빈도와 대학생 학업 성취의 관련성"으로 조정.
- 표본 흐름 명확화: 112→87(또는 92)→70의 제외 기준과 숫자를 일치시키고, 흐름도 또는 표로 제시.
- 시점 문제 해소: 직전 학기의 AI 사용을 묻거나, 이번 학기 말 성적과 연결(종단/2시점 설계). 불가능하면 한계로 명시하고 해석을 제한.
- 통제 변인 추가 분석: 전공, 학년, 수업, 기존 학업 수준 등을 투입한 회귀/공분산분석. 중간 집단(주 2~4회)을 포함한 연속 변수 분석.
- 통계 보고 보완: 평균·SD, 신뢰구간, 효과 크기, 가정 검토.
- 연구 문제 2 재구성: 사용 방식의 측정 방법 명시, 다중검정 보정, 사후검정, 필요 시 탐색적 분석임을 명시하고 결론에서 강조 금지.
- 문헌 검토 확충: 긍정·부정 결과를 모두 포함하고, 가설과 개념 틀을 제시.
- 연구윤리와 한계 절 추가: IRB, 동의, 자기보고 편향, 표집 한계, 일반화 제한.
- 결론·정책 제언 축소: "전국 대학 도입", "의무화", "일반화" 문구 삭제. 후속 연구 제안 수준으로 정리.
8. 평가 요약
| 항목 |
평가 |
비고 |
| 주제의 적절성/시의성 |
상 |
국내 실증 연구 필요성 인정 |
| 이론적 근거 |
하 |
문헌 2편, 가설 부재, 편향된 검토 |
| 연구 설계 |
하 |
횡단 설문, 시점 불일치, 통제 없음 |
| 표집/측정 |
하 |
편의 표집, 1문항, 자기보고, 수치 불일치 |
| 분석의 적절성 |
하~중 |
기본 검정은 가능하나 보고 불충분, 다중검정 미보정 |
| 결론의 타당성 |
하 |
자료가 지지하지 않는 인과·정책 주장 |
| 글의 완결성 |
중 |
구조는 갖췄으나 한계·윤리 절 누락 |
종합: 현재 자료로 방어 가능한 주장은 "표본 내에서 AI 고빈도 사용 집단의 자기보고 평점이 저빈도 집단보다 약 0.3점 높았으며(경계 수준 유의), 이는 인과를 시사하지 않는다" 정도입니다. 이 수준으로 결론을 조정하고 위 보완을 거치면 탐색적 연구로서 게재 가능성이 생깁니다.