AI는 기업에 효율성을 높일 수 있는 실제 기회를 제공합니다. 하지만 새로운 과제도 안겨주기 때문에, 기업들은 AI에 맞서기 위해 특정 형태의 AI인 AI 감지기를 점점 더 많이 도입하고자 합니다.
AI 감지기를 사용해야 하는 정당한 이유가 있습니다. 브랜드 보이스 보호, 사기 감지, 표절 발견, 계약업체로부터 비용 대비 가치 확보 등이 이에 해당합니다.
하지만 AI 감지기는 완벽하지 않으며, 대부분의 기업에는 이를 사용하는 데 따른 위험이 혜택보다 더 큽니다. AI 감지기를 사용하기 전에 귀하가 알아두어야 할 사항은 다음과 같습니다.
AI 감지기는 어떻게 작동하나요?
AI 감지기는 패턴을 수학적으로 분석하여 텍스트가 기계에 의해 생성되었을 확률을 추정하는 특화된 소프트웨어입니다. 대중적인 감지기로는 GPTZero, Copyleaks, Originality.ai, Sapling, Turnitin, Grammarly AI Detector 등이 있습니다.
기술적인 측면에서 AI 감지기가 주목하는 부분은 크게 두 가지 지표로 요약됩니다.
- 혼란도(Perplexity)는 단어의 배열이 얼마나 예측 가능한지 측정합니다. 예측 가능성이 낮을수록 AI가 개입했을 가능성도 낮아지는데, 이는 AI 모델이 통계적으로 가장 확률이 높은 단어를 예측하고 사용하도록 훈련되기 때문입니다. 인간은 더 다양하고 독특하게 단어를 선택합니다.
- 버스트성 은 문장 길이와 복잡성의 변화를 측정합니다. 인간의 글쓰기는 다양한 문장 유형이 혼합되어 “연사”하는 반면, 확률을 추구하는 AI는 규칙적이고 부드러우며 거의 수학적인 방식으로 글을 쓰는 경향이 있습니다. 낮은 버스트성의 글은 탐지기에 AI 개입을 강력하게 시사합니다.
일부 AI 감지기는 문체 분석을 사용하여 어휘 선택과 문법을 평가하고, 의심스러울 정도로 딱딱하고 격식 있는 구조를 찾아내기도 합니다.
소수의 AI 모델이 생성 시점에 보이지 않지만 감지 가능한 패턴을 AI 생성 텍스트에 첨부하는 워터마킹을 사용하기 시작했습니다. 하지만 현재 대부분의 모델은 흔적을 남기지 않으므로 아직은 이 솔루션에 의존할 수 없습니다.
AI 감지기는 신뢰할 수 있나요?
AI 감지기는 결코 100% 신뢰할 수 없으며, 실제 신뢰도는 그보다 훨씬 떨어지는 경우가 많습니다.
정확도는 도구, 콘텐츠 유형, 그리고 (결정적으로) 분석된 콘텐츠를 제작할 때 AI를 어떻게 정확히 사용했는지(사용했을 경우)에 따라 크게 달라집니다.
감지기가 작동할 때
변경되지 않은(또는 ‘가공되지 않은’) AI 출력물을 아무 AI 감지기에나 붙여넣으면 감지기가 이를 감지해 냅니다. 가공되지 않은 출력물은 감지기가 찾는 통계적으로 확률이 높은 패턴이 깨지지 않았기 때문에 쉽게 식별할 수 있습니다.
예를 들어, 저희는 Claude Sonnet 4.6에서 직접 생성된 텍스트를 Sapling에 붙여넣었습니다. Sapling은 이 AI 생성 텍스트가 AI에 의해 작성되었다고 99.5% 확신했습니다.
또 다른 주요 AI 감지기인 Originality는 동일한 단락을 AI로 감지하며 훨씬 더 높은 신뢰도인 100%를 기록했습니다.
제출된 텍스트가 100% AI 생성물이 아니더라도 감지기는 AI 작성을 식별할 수 있지만, 신뢰도는 크게 떨어집니다. 특히 텍스트가 짧고(300단어 미만) 감지기가 찾는 패턴이 충분히 형성될 시간이 없을 때 더욱 그렇습니다.
감지기가 작동하지 않을 때
AI 감지기가 오탐지(인간이 전적으로 작성한 텍스트에서 AI 사용 신호 감지)를 유발한다는 것은 잘 알려진 사실입니다. 학술 작성을 다룬 최근의 동료 평가 연구(새 창)에 따르면 AI 생성 학술 텍스트를 식별할 때 Originality와 Turnitin의 전반적인 정확도는 각각 69%와 61%에 불과한 것으로 평가되었습니다.
한 가지 문제는 인간이 자연스럽게 AI처럼 글을 쓰는 경우가 많다는 점입니다. 특히 LLM처럼 단순하고 고도로 문법적인 어구를 사용하는 비원어민 화자들의 경우가 그렇습니다. 스탠퍼드 대학교의 연구(새 창)에서는 7개의 대중적인 AI 감지기를 사용하여 중국인 학생들이 작성한 토플(TOEFL) 에세이를 분석했습니다. 그 결과 평균 오탐률은 61.22%였습니다.
또한 인간이 감지기가 찾는 통계적 패턴을 의도적으로 방해할 때 이를 감지해 내는 것도 어렵습니다. AI의 도움을 받는 작가들은 패턴을 깨기 위해 문장 몇 개를 고쳐 쓰거나, 문장 구조를 다양하게 하거나, 예측하기 어려운 단어를 사용하는 등 아주 간단한 작업만 수행하면 됩니다.
이러한 작업마저 번거롭게 느껴진다면, 감지기를 속이기 위해 필연적으로 등장하고 있는 수많은 ‘인간화(humanizer)’ 도구 중 하나를 사용하여 작업을 해결할 수도 있습니다.
아니면 단순히 선택한 LLM을 유지하면서 더 스마트한 프롬프트를 사용할 수도 있습니다. 12개의 AI 감지기를 대상으로 한 2025년 연구(새 창)에 따르면 “GPT-4o를 사용한 최소한의 수정만으로도 감지기에 따라 감지율이 10%에서 75%까지 떨어질 수 있는 것”으로 나타났습니다.
저희는 Claude Sonnet 4.6에 AI 감지기의 정확성에 관한 300단어 분량의 에세이를 작성해 달라고 요청하면서, 문장 길이를 다양하게 하고 직접적인 의견을 표현하며 예상치 못한 단어를 선택하여 인간처럼 글을 쓰도록 지시했습니다. Sapling은 해당 텍스트가 AI에 의해 생성되었을 확률을 단 12%로 평가했습니다.
Originality는 동일한 텍스트를 분석하여 해당 텍스트가 AI에 의해 생성되었다고 100% 확신한다고 발표했습니다.
이 테스트 결과를 보면 Originality가 더 나은 도구인 것처럼 보이지만, 두 도구 모두 분석 결과에 대해 동일하게 확신했다는 점을 인식하는 것이 중요합니다. 귀하가 분석된 텍스트를 직접 작성했다면 어느 감지기가 맞는지 알겠지만, 그렇지 않다면 결코 확신할 수 없습니다.
AI 감지기가 귀하의 데이터를 위태롭게 하는 방법
AI 탐지기의 더 큰 문제는 많은 기업이 완전히 간과하고 있는 부분, 즉 귀하의 데이터 개인정보 및 보안에 초래하는 위험입니다. 이는 일반적인 AI가 초래하는 위험과 유사합니다:
- 규정 준수 위험: 감지 모델은 훈련 데이터로부터 편향을 학습하여 차별적인 결과를 초래하고 기회균등 법률을 위반할 가능성이 있습니다. 많은 감지기가 ‘블랙박스’ 형태이며, EU AI법(새 창) 및 NIST AI 위험 관리 프레임워크(새 창)와 같은 규제 프레임워크는 조직이 AI 출력물에 대한 유의미한 논리를 제공할 것을 요구하고 있습니다.
- IP 및 훈련 데이터 위험: 많은 AI 감지기의 서비스 약관(ToS)에는 제공업체가 향후 모델을 훈련하기 위해 제출된 데이터를 저장, 분석 및 사용할 수 있는 권한을 부여하는 조항이 포함되어 있습니다. 이는 제공업체가 귀하가 제출한 제품 로드맵, 재무 전망, 기밀 연구 자료를 사용할 법적 권리를 보유하며, 해당 데이터의 개인정보 보호를 보장하거나 경쟁업체의 출력물에 노출되지 않도록 방지할 의무가 없음을 의미할 수 있습니다.
- 데이터 보안 위험: AI 감지기는 사이버 공격에 취약하며, 타사 감지기에 콘텐츠를 제출하면 귀하의 공격 표면이 제공업체의 공격 표면으로까지 확장됩니다. 제공업체에 보안 사고가 발생하는 경우 귀하의 데이터도 유출 대상에 포함됩니다. 임직원들이 사용하기 쉬운 검증되지 않은 무료 도구의 경우, 제공업체의 보안 관행을 사전에 감사할 수 없습니다.
- 데이터 주권 위험: 감지기에 문서를 제출하는 것은 텍스트가 해외 서버로 전송됨을 의미할 수 있으며, 이로 인해 로컬 보호를 받지 못하게 되고 CLOUD법(새 창)에 따라 역외 정부의 감시에 노출될 가능성이 있습니다.
대부분의 기업에게 중요한 질문은 AI 감지기가 작동하는지 여부가 아닙니다. 바로 감지기 사용에 따르는 위험을 감수할 가치가 있는지 여부입니다. 만약 귀하가 민감하거나 독창적이거나 기밀인 데이터를 다루고 있다면, 그 대답은 ‘아니오’입니다.
AI 감지기에 관한 자주 묻는 질문(FAQ)
AI 감지기는 어떻게 작동하나요?
AI 감지기는 AI 생성 텍스트와 연관되도록 훈련된 패턴을 찾기 위해 텍스트를 스캔합니다. 이러한 패턴이 나타나는 이유는 AI가 알고리즘적으로 그 뒤에 올 가장 확률이 높은 단어를 예측하고 사용하여 텍스트를 생성하기 때문입니다.
AI 감지기는 무엇을 분석하나요?
감지기가 주목하는 AI 생성 텍스트의 주요 지표는 낮은 수준의 ‘혼란도(perplexity)'(예측 불가능한 단어 선택) 및 ‘연사성(burstiness)'(문장 길이와 구조의 다양성)입니다.
일부 AI 모델은 생성 시점에 보이지 않지만(그러나 감지 가능한) 패턴을 텍스트에 첨부하는 워터마킹을 실험하기 시작했습니다. 하지만 이 방식을 적용하기 시작한 모델은 소수에 불과하므로, 워터마킹은 아직 AI 생성 텍스트를 식별하기 위한 확실한 기준을 제공하지 못합니다.
AI 감지기는 작동하나요?
정확도는 사용된 감지기, 분석 대상 텍스트의 유형, 그리고 (만약 사용되었다면) AI가 텍스트 생성을 위해 어떻게 활용되었는지에 따라 달라집니다. 감지기는 편집되지 않은 가공되지 않은 AI 출력물에 대해서는 성능이 뛰어납니다. 하지만 편집된 콘텐츠, 비원어민이 작성한 글, 가볍게 말을 바꾼 AI 출력물 등 이보다 복잡한 텍스트에 대해서는 정확도가 크게 떨어집니다.
정확도를 차치하더라도, AI 감지기의 더 큰 문제는 감지기 사용이 귀하의 데이터 보안에 가할 수 있는 위협입니다. 타사 감지기에 콘텐츠를 제출한다는 것은 해당 콘텐츠를 외부 서버로 전송함을 의미하며, 이는 사이버 공격, 데이터 무단 수집, 역외 감시에 노출되거나 제공업체에 제출한 콘텐츠에 대한 법적 권리를 부여할 수 있는 잠재적 위험을 내포하고 있습니다.
대부분의 기업, 특히 민감하거나 독창적이거나 기밀인 콘텐츠를 다루는 기업의 경우, 타사 AI 감지를 사용할 때 수반되는 데이터 위험이 그로 인한 혜택보다 훨씬 더 큽니다.
