"단 36초" 그럴듯한 '환각'…전 국민에 퍼진다 (풀영상)

<앵커>

공무원들이 세금으로 해외 연수를 다녀온 뒤 작성하는 '국외훈련보고서'의 상당수가 인공지능으로 쓴 엉터리였다고 어제(10일) 보도해 드렸습니다.

그렇다면 이런 '그럴듯한 가짜'는 어떻게 만들어지는 건지, 노유진 기자가 직접 AI로 보고서를 써봤습니다.

<노유진 기자>

캐나다 연수 이후 저출산 극복 방안을 다룬 보고서입니다.

참고 문헌에 학자들의 논문이 줄줄이 등장하지만 존재하지 않는 자료가 수두룩합니다.

저자로 언급된 교수들조차 AI가 여러 연구를 짜깁기해 만든 가짜 연구물이라고 말합니다.

[국외훈련보고서 작성 공무원 : (AI 쓰신 건 맞나요?) 일부는 좀 그런 부분이 있는데, 인정을 할 수밖에 없는데 전체적으로 그렇다는 건 당연히 아니고요.]

제가 같은 주제인 저출산 인구 부족 현상에 대한 극복 방안을 가지고 AI를 통해서 연구보고서를 한 번 써보겠습니다.

결론과 참고문헌을 쓰는데 단 36초가 걸렸습니다.

참고문헌을 보면, 이 분야 유명한 학자들이 쓴 논문들이 나왔는데요.

이 논문들이 실제로 검색해 보면 AI가 만들어낸 가짜 논문들이었습니다.

공무원 보고서에 실린 가짜 참고문헌과 저자까지 동일합니다.

AI가 만들어낸 '환각'입니다.

AI는 방대한 데이터를 학습해 다음에 올 말을 확률적으로 예측하는 모델입니다.

답을 모르는 질문이 들어와도 가장 그럴듯한 문장을 조합해 '답처럼 보이는 결과'를 만들어냅니다.

[황의원/이화여대 컴퓨터공학과 교수 : 인공지능 자체가 전반적으로 약간 통계적인 모델이라고 볼 수가 있고, 이 통계적인 모델에서는 사실 가장 확률이 높은 것을 출력하도록 되기 때문에 사실이 아니더라도 그럴듯하면 생성이 되는….]

존재하지 않는 논문에 권이나 호수, 페이지까지 나오는 이유입니다.

때문에 AI를 활용해 보고서를 작성하려면 교차 검증은 필수입니다.

국제 AI 학회는 이미 지난 2023년 관련 가이드라인을 마련해 본문 작성에는 AI를 쓰지 않고 첨삭이나 번역 등 보조적 활용만 허용하고 있습니다.

하지만 공무원 국외훈련 보고서의 경우 AI 사용 범위 규정이 전혀 없습니다.

AI 시대, 효율은 선택이 아니라 흐름일 수 있습니다.

하지만 최소한의 기준 없이 사용된다면 연구는 순식간에 자동 생성 문서로 전락할 수 있습니다.

(영상취재 : 설민환, 영상편집 : 최혜영, VJ : 김준호)

---
 
<앵커>

더 심각한 문제는, 이런 허위 정보가 담긴 보고서들이 정부 사이트에 공개돼, 마치 정부의 공식 기록처럼 국민들에게 그대로 전달되고 있다는 겁니다. 여기에 AI로 보고서를 쓰는 과정에서 중요한 정보가 외부로 유출될 수 있다는 보안 문제까지 지적되고 있습니다.

이어서 배여운 기자가 취재했습니다.

<배여운 기자>

북한 인권 증진 전략을 다룬 통일부 공무원의 국외훈련 보고서.

본문에 인용했다고 밝힌 '북한 보건 상황' 자료의 인터넷 주소로 직접 접속해 봤습니다.

하지만 정작 화면에 나타난 건 태국 보건 정책 문서입니다.

출처를 확인할 수 없거나 존재하지 않는 문헌도 여럿 발견됐습니다.

대북 정책을 다루는 주무 부처 보고서조차 검증되지 않은 정보에 기대 작성된 겁니다.

[공무원A/통일부 과장 : AI를 쓴 거는 맞아요. 자료를 서칭하고 하는 부분에서 AI를 활용하지 않는 분이 어디 있겠어요? 거르지 못한 부분들은 아무튼 그거는 제 잘못입니다.]

문제는 이런 보고서들이 누구나 열람할 수 있는 정부 사이트에 게시된다는 겁니다.

가짜 정보가 공식 문서의 외피를 입고 확산될 수 있는 구조입니다.

여기에 심각한 보안 우려까지 제기됩니다.

해외에 서버를 둔 AI에 정부 내부 자료나 정책 내용을 입력할 경우 민감한 정보가 외부로 흘러 나갈 가능성을 배제할 수 없습니다.

[황의원/이화여대 컴퓨터공학과 교수 : 유저가 입력한 데이터도 결국에 학습에 사용될 수 있고, 그게 나중에 다른 유저의 출력으로 나올 수도 있는 문제가 있거든요. 대부분의 국내나 해외 기업들도 사실 생성형 AI 사용을 다 금지하고 있고요.]

실제로 미국에서는 정보 유출을 우려해 미 의회에서 적대국의 AI 사용을 공공 부문에서 제한하는 법안이 상, 하원에 각각 발의된 상태입니다.

공공 영역에서의 AI 활용 범위, 검증 의무 그리고 보안 통제 장치.

지금 필요한 건 그 책임의 기준을 세우는 일입니다.

(영상취재 : 설민환, 영상편집 : 김종태, 디자인 : 김예지, VJ : 김준호)

---

<앵커>

이 사안을 취재한 탐사보도부 노유진 기자 나와 있습니다.

Q. AI로 작성한 엉터리 보고서 어떻게 확인했나?

[노유진 기자 : 네, AI로 쓴 것으로 의심되는 보고서를 추려낸 다음에, 실제 논문 존재 여부를 하나하나 확인했습니다. AI 텍스트 탐지 프로그램에 지난 1년여간의 이 보고서 481개를 모두 넣어 분석해 봤는데요. AI에서 쓰는 글은 사람이 쓴 글과 달리 특정 단어나 문체 같은 언어적 패턴이 나타나는데, 이번에 저희가 분석한 보고서처럼 30페이지 이상 긴 보고서는 데이터량이 많아서, AI가 썼는지 안 썼는지 잘 구분할 수 있다고 전문가들은 말하고 있습니다. 실제 학계에서도 이런 탐지 프로그램들을 많이 쓰고 있는데, 저희는 한 걸음 더 나아갔습니다.]

Q. 직접 코드까지 짜서 AI 패턴 검증 했나?

[노유진 기자 : 네, AI를 절반 이상 쓴 것으로 보이는 보고서 82개를 추려내고요, 그다음에 AI 문법인 별표, 이모지를 검출하는 코드를 짜서 검증했습니다. 참고문헌에 있는 논문이 실제 존재하는지는 저자들에게 연락해 일일이 확인했습니다. 그 과정에서 존재하지 않는 논문들이 인용된, AI가 만들어낸 '환각' 보고서들을 확인할 수 있었습니다.]

Q. 인사혁신처, 앞으로 어떻게 하나?

[노유진 기자 : 보통 이런 보도가 나오면 설명자료를 내는 경우가 많은데요. 인사혁신처는 아직 공식 보도자료는 내지 않고 있습니다. 어제(10일) 저희가 AI로 작성된 엉터리 보고서라고 지적한 자료도, 심지어 정부 사이트에 공개된 상태 그대로입니다. 다만, 앞으로 어떻게 할 거냐는 저희 질의에 최근 3년간 훈련 보고서 1,364건을 전수 조사하고 그 결과에 따라 문책 등 필요한 조치를 취하겠다고 밝혀왔습니다. 또 AI 활용 가이드라인도 마련하겠다고 했는데요, 실제 어떤 조치가 나오는지 계속 취재해서 전해드리겠습니다.]

(영상편집 : 최혜영·김종태)