AI 검사기, 만든 회사가 먼저 버렸습니다

“우리 아이 에세이, 그 AI 검사기에 한번 돌려봐야 하는 거 아닐까요?” 그 마음은 저희도 압니다. 그런데 오늘은 좀 불편한 얘기를 드려야겠습니다.

만든 회사가 먼저 버렸습니다

ChatGPT를 만든 OpenAI가 탐지기를 직접 내놓은 적이 있습니다. 여섯 달 만에 조용히 내렸습니다. 이유는 한 줄이었습니다 — 정확도가 낮아서.

어느 정도였냐면, 기계가 쓴 글 백 개 중 스물여섯 개밖에 못 잡았습니다. 더 무서운 건 반대쪽입니다. 사람이 쓴 글 백 개 중 아홉 개를 기계가 썼다고 찍었습니다.

1퍼센트가 몇 명인가

학교에서 많이 쓰는 Turnitin은 잘못 잡는 비율이 1퍼센트라고 했습니다. 1퍼센트면 괜찮아 보이시죠. Vanderbilt 대학이 자기 학교 숫자를 대입해봤습니다. 2022년에 Turnitin으로 제출된 리포트가 약 7만 5천 건. 거기에 1퍼센트면 해마다 750편이 억울하게 걸릴 수 있다는 얘기가 됩니다.

Vanderbilt는 2023년 8월에 이 기능을 아예 꺼버렸습니다.

2025년 4월에는 미국 FTC가 나섰습니다. 98퍼센트 정확하다고 광고하던 탐지기가 있었는데, 일반 문서에서 실제로 재봤더니 53퍼센트였습니다. 동전 던지기와 같습니다. FTC는 그 98퍼센트가 학술 문서 기준 수치였고 일반 문서 광고에 그대로 쓴 것이 문제라고 봤습니다.

그런데 진짜 문제는 그 다음입니다

이 오답은 아무한테나 골고루 나오지 않습니다. Stanford 연구팀이 아주 간단한 실험을 했습니다. 전부 사람이 쓴 에세이를 두 묶음 준비했습니다 — 하나는 미국 8학년 학생들의 글, 다른 하나는 영어가 모국어가 아닌 학생들의 TOEFL 글.

이걸 널리 쓰이는 탐지기 일곱 개에 넣었습니다. 미국 학생들 글은 거의 다 사람으로 통과했습니다. 비원어민 학생들 글은 분명히 전부 사람이 썼는데, 열 편 중 여섯 편꼴로 기계가 썼다고 찍혔습니다.

왜 이럴까요. 탐지기는 누가 썼는지를 안 봅니다. 다음에 올 단어가 얼마나 뻔한지를 봅니다. 그러니까 흔하고 안전한 단어를 쓸수록 기계가 썼다고 나옵니다.

이 도구가 재고 있는 건 작성자가 아니라 어휘력입니다.

씁쓸한 반전이 하나 더 있습니다. 연구팀이 억울하게 걸린 그 에세이를 ChatGPT한테 더 세련되게 다듬어달라고 했더니, 판정이 사람으로 바뀌었습니다. AI로 글을 세탁할 줄 아는 아이는 통과하고, 자기 힘으로 정직하게 쓴 아이만 걸린다는 뜻입니다.

“우리 애는 그런 거 안 쓰는데요”

그래서 더 문제입니다. Max Planck 연구소가 사람들이 실제로 입으로 한 말을 74만 시간어치 모아 분석했습니다. 글이 아니라 말입니다. ChatGPT가 나온 뒤 AI가 즐겨 쓰는 낱말들이 사람들 대화에서 확 늘었습니다. 아무도 시키지 않았는데요.

그러니까 아이 글이 기계처럼 읽힌다는 건 아이 잘못이 아닙니다. 부정행위의 증거도 아닙니다. 이 세대의 기본값입니다.

그런데 하필 지금, 반대쪽에서도 기계가 들어옵니다

2023년 설문에서 고등교육기관 열 곳 중 여덟 곳이 1년 안에 심사에 AI 도구를 도입할 계획이라고 답했습니다. Virginia Tech은 2025년에 아예 방식을 바꿨습니다 — 원래 사람 두 명이 읽던 에세이를, 사람 한 명과 AI 한 명으로. 두 점수가 2점 넘게 벌어지면 두 번째 사람이 들어오고, 최종 결정은 사람이 합니다.

그래서 지금 정직한 아이가 가위 사이에 끼어 있습니다. 한쪽에서는 언어가 저절로 기계를 닮아가고, 다른 쪽에서는 그 기계가 그걸 걸러내려 합니다.

방법은 있습니다. 기계가 아닙니다.

UMass 연구팀이 AI 글쓰기 도구를 매일 쓰는 독자 다섯 명에게 사람 글과 기계 글을 섞어 300편을 읽혔습니다. 다섯 명의 다수결은 300편 중 딱 한 편만 틀렸습니다. 같은 조건에서 상용 탐지기는 85퍼센트였습니다.

진짜 중요한 건 그 다음입니다. 이 사람들은 자기가 뭘 보고 그렇게 판단했는지를 말로 설명할 수 있었습니다. 공식처럼 반듯하기만 한 문장, 수상할 정도로 완벽한 문법, 두루뭉술한 낙관으로 흐지부지 끝나는 결말. 막연한 감이 아니라 배울 수 있는 기술이라는 뜻입니다.

여기서부터는 저희 얘기입니다

저희가 몇 해 해온 게 정확히 그 작업입니다. 숙련된 눈을 체계로 만드는 일. 실제 대학 지원 에세이가 800편 넘게 있고, 숙련된 리뷰어가 이 글이 왜 이 등급인지 직접 써놓은 평가가 700건 있습니다. 감이 아니라 숫자로 봅니다.

잣대가 있으면 조언이 달라집니다. “대화를 좀 넣어보면 어떻겠냐” 대신 “상위권 에세이는 열 편 중 여섯 편꼴로 실제 있었던 대화가 들어 있는데 하위권은 열 편에 한 편이다”라고 말씀드릴 수 있습니다. 훈계가 아니라 증거입니다.

그 800편에서 기준을 열네 가지 뽑았습니다. 그런데 열네 가지를 관통하는 질문은 하나입니다.

다른 지원자가 자기 이름만 바꿔 넣어도, 이 글이 그대로 말이 되는가.

말이 된다면 그건 아직 누구의 글도 아니라는 뜻입니다.

저희가 드리지 않는 것

점수

없습니다.

확률

없습니다.

“네가 기계로 썼지” 라는 판정

하지 않습니다. 저희는 진위를 판정하지 않습니다.

집단 평균과의 비교

하지 않습니다. 비교 대상은 그 아이 자신의 지난 초안 하나뿐입니다.

탐지 점수는 “기계가 썼는가”를 묻습니다. 입학사정관은 훨씬 좋은 질문을 합니다 — “다른 누구라도 이 글을 쓸 수 있었는가.” 저희는 두 번째 질문을 위해 코칭합니다. 그 답이 아니오가 되는 순간, 첫 번째 질문은 의미가 없어지기 때문입니다.

근거OpenAI 공지 · Vanderbilt 공지(2023-08) · FTC v. Workado(2025-04) · Stanford Liang et al.(Patterns 2023) · Max Planck · UMass Russell et al.(ACL 2025) · Intelligent 설문(2023) · Virginia Tech(2025). 인용은 2026-08-29 재확인. 그 위의 판단은 IPE 것입니다.