심사 의견서
논문 제목: 생성형 AI 사용이 대학생의 학업 성취에 미치는 영향
심사 의견: 대폭 수정 후 재심사 (Major Revision). 현재 상태로는 게재 불가에 가깝습니다.
1. 총평
주제는 시의성이 있고 국내 실증 연구가 부족하다는 문제의식도 타당합니다. 그러나 이 논문은 단일 대학의 소규모 횡단 설문에서 얻은 상관 결과를 "인과 효과", "입증", "전국 일반화", "의무 도입" 같은 결론으로 연결하고 있습니다. 이 도약을 자료가 뒷받침하지 못합니다. 표본 수 불일치, 다중비교 문제, 자기보고 측정 등 기본적인 방법론 결함도 있습니다. 결론의 수준을 크게 낮추거나, 설계를 보완해야 합니다.
2. 주요 문제 (반드시 수정)
2.1 인과 추론의 오류
- 초록과 5장은 "향상시킨다", "실증적으로 입증하였다"라고 단정합니다. 그러나 설계는 한 시점의 횡단 설문이고, 비교한 것은 집단 간 평균 차이뿐입니다. 이는 연관성만 보여 줍니다.
- 역인과와 교란 변수를 배제하지 못했습니다.
- 학업 동기가 높거나 기술 친화적인 학생이 AI를 더 자주 쓸 수 있습니다.
- 전공, 학년, 학습 시간, 성별, 입학 성적 등이 모두 AI 사용과 평점에 동시에 영향을 줄 수 있습니다.
- 통제 변수가 하나도 없고 회귀나 공분산분석도 없습니다.
- 평점은 "직전 학기" 값이고 AI 사용은 "지난 한 달"입니다. 시간 순서상 AI 사용이 직전 학기 평점의 원인일 수 없습니다.
- 5장의 "글쓰기 용도로 사용할 때 효과가 가장 크다"도 근거가 없습니다. 4.2절은 "글쓰기 자신감과 과제 만족도가 가장 높았다"는 기술일 뿐이고, 효과를 추정한 것이 아닙니다.
2.2 표본 수의 불일치와 불투명성
- 초록은 92명, 3.1절은 응답 112명 중 87명 분석이라고 합니다. 고빈도 41명과 저빈도 29명을 합치면 70명입니다. 숫자가 서로 맞지 않습니다.
- 112명 중 25명을 제외한 기준이 없고, 92명이 어디서 나왔는지도 설명이 없습니다. 제외 기준이 사후에 정해졌다면 결과가 왜곡될 수 있습니다.
- 주 2~4회 사용자(87-70=17명 추정)는 분석에서 빠졌습니다. 극단 집단만 비교하면 효과가 부풀려질 수 있고, 연속 변수나 3집단 비교(용량-반응)가 더 적절합니다.
- 최종 분석 표본이 약 70명이라 검정력이 낮고, 효과 추정이 불안정합니다.
2.3 다중비교 문제 (4.2절)
- 12개 변인을 각각 일원분산분석하고, 그중 2개가 p<.05였습니다. 보정 없이 α=.05를 쓰면 우연히도 평균 0.6개는 유의하게 나옵니다. 2개의 유의 결과는 우연과 구분하기 어렵습니다.
- Bonferroni, Holm, FDR 등 보정과 정확한 p값, F값, 자유도, 효과크기가 필요합니다.
- 사후검정도 없어서 "글쓰기 용도 집단이 가장 높다"가 통계적으로 확인된 것이 아닙니다.
- 사용 방식 집단별 표본 수가 전혀 제시되지 않았습니다. 복수 용도를 쓰는 학생을 어떻게 분류했는지도 알 수 없습니다.
- 12개 변인을 모두 검정한 것이 사전 계획이었는지 탐색이었는지 밝히고, 탐색이라면 그렇게 표기해야 합니다.
2.4 측정의 타당도와 신뢰도
- AI 사용 빈도: 1문항 자기보고이고, 타당화된 척도가 아닙니다. "한 달 동안 주 몇 회"는 회상 오류가 큽니다. 사용 목적(학습 보조인지, 과제 대행인지)과 사용의 질이 구분되지 않습니다.
- 학업 성취: 학생이 직접 적은 평점이고 학교 기록으로 검증하지 않았습니다. 자기보고 평점은 과대보고 경향이 있고, 이 편향이 집단별로 다를 수 있습니다. 교양 수업 두 개의 수강생이라 학점 인플레이션이나 수업 난이도 차이도 통제되지 않았습니다.
- 12개 변인: 모두 1문항씩이라 내적 일치도를 산출할 수 없고, 구성타당도 근거도 없습니다. "학업 성취 관련 변인"으로 이 12개를 고른 이유도 없습니다. 영어 독해와 코딩 자신감은 AI 사용 방식과 우연히만 연결될 수 있습니다.
- 사용 방식(연구 문제 2): 3.2절 측정 도구 목록에 사용 방식을 어떻게 측정하고 분류했는지가 빠져 있습니다. 연구 문제 2의 핵심 독립변수가 정의되지 않았습니다.
2.5 표집과 일반화
- 수도권 A대학 교양 수업 두 개의 자발적 응답자 표본입니다. 응답률은 불명확하고(수강생 수가 제시되지 않음), 자기선택 편향 가능성이 큽니다. AI에 관심이 많은 학생이 더 응답했을 수 있습니다.
- 그런데도 5장은 "전국 대학생에게 일반화할 수 있다"고 합니다. 확률표집이 아니고 단일 기관이므로 일반화는 불가능합니다. 초록의 "전국 대학은 도입해야 한다"도 같은 문제입니다.
- 표본의 전공, 학년, 성별 구성 등 기술통계가 전혀 없습니다.
2.6 정책 제언의 비약
- "교육과정에 적극 도입", "글쓰기 수업에 의무 도입"은 연구가 검증하지 않은 개입 효과에 대한 제언입니다. 관찰 연구 하나로 정책을 제안하려면 인과 근거가 필요합니다.
- 부작용도 다루지 않았습니다. 학습 정직성, 표절, 과의존, 장기 학습 효과 등이 빠져 있습니다.
- 이 제언은 삭제하거나, "추가 연구가 필요하다"는 수준으로 낮추어야 합니다.
3. 통계 보고의 문제
- 독립표본 t검정 결과가 t=2.11, p<.05로만 보고되었습니다. 자유도, 정확한 p값, 표준편차, 효과크기(Cohen's d), 신뢰구간이 필요합니다.
- 제시된 값으로 역산하면 n=41, 29일 때 d≈0.5(중간 효과)이고 p는 .04 부근입니다. 경계선에 가까운 결과여서 표본 제외 기준이나 분석 선택에 따라 쉽게 뒤집힐 수 있습니다.
- 등분산 검정(Levene)과 정규성 점검, 필요하면 Welch 검정이나 비모수 대안(Mann-Whitney)을 보고하십시오.
- 평점의 천장 효과(4.5 만점에 3.4~3.7)와 분포 왜곡 가능성도 확인해야 합니다.
- 유의성만이 아니라 효과의 크기와 실질적 의미를 논의해야 합니다. 0.29점 차이가 어떤 의미인지가 없습니다.
4. 이론적 배경의 문제
- 선행 연구가 두 편뿐이어서 이론적 배경이라고 하기 어렵습니다. 생성형 AI와 학업 성취에 관한 국내외 문헌은 이미 상당수 있습니다. 긍정 결과뿐 아니라 부정적·혼재된 결과도 검토해야 합니다.
- 논리 전개에 비약이 있습니다. "디지털 도구가 자기주도 학습을 돕는다"와 "AI가 학습 시간을 줄여 준다"에서 "학업 성취를 높일 것"이 바로 도출되지 않습니다. 학습 시간 단축은 오히려 학습량 감소일 수도 있습니다.
- 가설이 명시적으로 설정되지 않았습니다. 연구 문제는 있으나 방향성 가설과 이론적 기제(왜, 어떻게)가 없습니다.
- 인용 서지 정보를 확인해야 합니다. 김OO는 저자명이 가려져 있어 확인이 불가능합니다. 투고 전에 실명으로 표기하십시오. Lee (2025)는 학술지·권호·쪽수를 다시 확인해 실재 여부와 인용 내용이 맞는지 검증하십시오.
5. 기타 지적 사항
- 연구 윤리: IRB 승인 또는 면제 여부, 연구 참여 동의 절차, 익명성 보장에 대한 언급이 없습니다. 학회지 투고에는 필수입니다.
- 연구의 한계: 한계 절이 전혀 없습니다. 위에서 지적한 사항(횡단 설계, 자기보고, 단일 기관, 낮은 표본 수, 다중비교)을 명시해야 합니다.
- 시점 기술: 2026년 9월 설문이라 되어 있는데, 직전 학기 평점과 학기 중 설문이라는 시점 관계를 명확히 하십시오.
- 연구 목적 문장: "향상시키는 효과를 밝히는 것"이라는 목적 진술 자체가 결론을 미리 정해 둔 형태입니다. "관련성을 탐색한다"로 바꾸는 편이 적절합니다.
- 용어: "학업 성취"를 평점 하나로 조작적 정의했습니다. 평점은 학업 성취의 일부 지표일 뿐이라는 점을 밝혀야 합니다.
- 논의 절: 결과 해석, 선행 연구와의 비교, 대안 설명이 없습니다. 논의가 결론 반복과 정책 주장으로만 이루어져 있습니다.
- 초록의 AI 서비스 예시(챗GPT·클로드 등)가 측정에는 반영되지 않았습니다. 어떤 도구를 쓰는지가 결과에 영향을 줄 수 있습니다.
6. 수정 권고 사항 (우선순위순)
- 표본 수(92/112/87/70)를 정리하고 분석 흐름도를 제시하십시오. 제외 기준을 명시하십시오.
- 인과 표현을 모두 연관성 표현으로 교체하십시오. "입증", "향상시킨다", "효과가 가장 크다"를 삭제하십시오.
- 중간 사용 집단을 포함해 AI 사용을 연속·3범주 변수로 분석하고, 전공·학년·학습 시간 등을 통제한 회귀분석을 추가하십시오.
- 12개 변인 분석에 다중비교 보정, 정확한 통계량, 사후검정, 효과크기, 집단별 n을 제시하십시오.
- 사용 방식의 측정과 분류 방법을 3.2절에 추가하십시오.
- 가능하면 평점을 학교 기록으로 확인하십시오. 불가능하면 자기보고의 한계를 명시하십시오.
- 전국 일반화와 의무 도입 제언을 삭제하고, 한계 절과 후속 연구(종단·실험 설계) 제안으로 대체하십시오.
- 문헌 검토를 보강하고 가설을 명시하십시오. 서지 정보를 완결·검증하십시오.
- IRB와 동의 절차를 기재하십시오.
7. 종합 평가
| 항목 |
평가 |
| 주제의 적절성·시의성 |
양호 |
| 이론적 근거 |
미흡 |
| 연구 설계 |
미흡 (횡단·무통제) |
| 측정 |
미흡 (1문항·자기보고) |
| 통계 분석 |
미흡 (다중비교, 보고 불충분) |
| 결론의 타당성 |
부적절 (과잉 일반화·인과 단정) |
| 서술의 일관성 |
미흡 (표본 수 불일치) |
위 사항을 반영해 결론의 수준을 자료에 맞게 낮추고 분석을 보완하면, 탐색적 상관 연구로서 투고 가능한 수준이 될 수 있습니다.
참고: 요청에 따라 심사자 구성 확인 절차는 생략하고 단일 심사자 관점에서 작성했습니다.