불수능도 척척?…딥시크도 엉뚱 해석 내놓은 문제 보니

중국 인공지능(AI) 스타트업이 선보여 파장을 일으킨 AI 모델 딥시크(Deepseek)가 대학수학능력시험 국어 영역 고난도 문제도 척척 맞히는 추론 능력을 보여줬습니다.

현행 수능 국어영역은 공통과목(1∼34번)과 '언어와 매체'·'화법과 작문' 중 하나를 택하는 선택과목(35∼45번)으로 나뉘어 있습니다.

오늘(31일) 딥시크에게 수능 문제 지문을 학습시키고 문제를 풀게 한 결과, 2025년도 대비 '불수능'이었다고 평가받는 2024년도 수능 국어영역 공통과목에서는 34문제 가운데 5문제를 틀려 12점이 감점됐습니다.

딥시크는 현대문학 관련 지문, 맞춤법·어휘 관련 문제에서는 빠르게 답을 내놓으며 강점을 보였습니다.

특히 '딥싱크 R1' 기능을 활성화하면, 문제 풀이 과정을 상세하게 보여줘 실제 학습에도 도움이 될 수 있을 것으로 보였습니다.

그러나 지문을 토대로 가상의 여론조사 통계를 분석하는 문제(7번), 서로 다른 데이터 처리 기법을 비교·분석하는 문제(10번) 등 당시 고난도 문항으로 평가받았던 비문학 지문에서는 약점을 드러냈습니다.

또 특정 표현에 드러난 화자의 의도를 묻는 문제(25번·31번), 고전 시가에 드러난 표현 기법을 묻는 문제(34번) 등에서는 모든 보기를 맞는 서술로 간주하거나 엉뚱한 해석을 내놓기도 했습니다.

이밖에 테스트해 본 수학 문제의 경우 2점짜리 계산 문제는 잘 맞혔으나, 복잡한 추론을 요구하는 고난도 문제에서는 어려움을 겪었습니다.

기하 문제에서는 캡처 이미지 속의 그림을 인식하지 못했고, 주관식 수열 문제에서는 초기 조건을 만족하는 값을 모조리 대입해 보는 소위 '노가다'를 시도하면서 무한루프에 빠지기도 했습니다.

이밖에 AI의 환각(할루시네이션) 현상을 테스트할 때 쓰이는 이른바 '사과 문제'도 통과하지 못했습니다.

'나는 지금 사과 10개를 가지고 있고 어제 사과 3개를 먹었어. 현재 사과의 수는 몇 개일까?'를 묻는 말에 딥시크는 '사과를 먹었다'는 말에 집중해 "10-3=7이므로 7개"라고 답했습니다.

딥시크는 5분에 한 번꼴로 '서버가 바쁘다'는 메시지를 띄우며 장기간 먹통 상태에 빠지는 등, 안정성 면에서는 개선이 필요해 보였습니다.

전 세계에서 접속자가 몰린 탓이라고는 하나, 과거 생성형 AI 열풍을 일으켰던 오픈 AI 때의 챗GPT에 비하면 그 빈도와 정도가 잦았습니다.