기사 쓰랬더니 소설 쓰는 AI, 여기 해법이 있었습니다

 

오마이뉴스

 

기사 쓰랬더니 소설 쓰는 AI, 여기 해법이 있었습니다

 

[나의 AI 탐구생활] '할루시네이션' 때문에 벌어지는 대형사고..."모른다"는 답에 관대하면 해법 있어

 

26.02.07 11:35 | 최종 업데이트 26.02.07 11:35 | 신상호(lkveritas)

AI는 이제 우리 삶에 스며들었습니다. 모두가 AI를 사용하는 지금, 중요한 건 '무엇을 쓰느냐'가 아니라 '어떻게 쓸지'를 고민해야 합니다. 정답은 없지만, 이 탐구 생활을 통해 해법을 찾아가는 과정을 함께 나누고 함께 고민해보고자 합니다.

 

▲오픈 AI의 ChatGPT 로고 ⓒ EPA/연합뉴스

저는 기사를 쓸 때, 절대 AI를 활용하지 않습니다. 요즘 리포트나 자기소개서 등 웬만한 '글쓰기'는 AI에 맡기는데, 시대에 너무 뒤떨어진 생각 아니냐고요? 한편으론 맞는 얘기입니다. GEMINI나 챗GPT 등에 접속해, "해줘" 한마디면 3~4초만에 웬만한 작가들보다 수준이 높은 글이 쏟아지는데, 이걸 활용하지 않는다니요. 비견하자면, 모두가 차를 타고 출근할 때, 저 혼자 신발 신고 뛰는 것과 마찬가지일 수 있겠습니다.

하지만 기사를 쓸 때, AI를 몇 번 돌려보고 아예 안 쓰기로 결론을 내린 이유가 있습니다. AI가 없는 사실을 만들어내는 '할루시네이션'(Hallucination, 환각 오류) 현상을 완전히 막을 수 없기 때문입니다. 할루시네이션만 걷어내면 될 거 아니냐, 하시는 분도 있을 텐데요. 사실 그 할루시네이션 여부를 점검하느라 시간이 더 많이 걸립니다. 사실이 명백히 다른 문장은 금방 파악이 가능하겠지요. 하지만 AI는 사실 관계를 교묘하게 오도하는 문장을 만들거나, 거짓 출처를 명기하고 거짓 사실을 만들어내는 등 다양한 형태의 '환각'을 사용자에게 제공하더군요.

결국 AI가 3~4초 만에 만들어낸 그럴듯한 기사라고 하더라도, 제가 문장을 하나하나 검수해야 '사고'가 발생하지 않습니다. 저의 경우는, 그 검수에 걸리는 시간과 노력, 집중력을 소모하느니, 그냥 기사를 쓰는 것이 가성비 측면에서 훨씬 나았기 때문에, 오늘도 실뜨기하듯 느릿느릿 기사를 써내고 있습니다.

사실 그동안 AI는 이같은 '할루시네이션'으로 대형사고를 여러 번 저질렀습니다. 지난 2023년 미국 조지워싱턴대 조너선 털리 교수는 챗GPT가 만들어낸 할루시네이션에 의해 졸지에 '성범죄자'로 내몰렸습니다. 당시 챗GPT는 <워싱턴포스트> 보도 기사를 출처로, 조너선 교수가 알래스카 현장 학습에서 여학생을 성희롱했다고 주장했고, 이 내용이 삽시간에 퍼졌기 때문입니다. 성희롱 사실도, <워싱턴포스트> 보도도 모두 '거짓'이었습니다.

미국 시카고 <선타임스>는 지난해 5월 AI의 '할루시네이션'에 속아, 대형 오보를 냈습니다. 이 신문은 당시 여름 특집 추천 도서 목록을 제시했는데, 추천도서 15권 중 10권은 존재하지 않는 가짜 책으로 드러났습니다. 결국 신문사 명의로 사과 성명을 발표하기도 했습니다. AI를 활용하던 디렉터가 기사를 내기 전 검증을 하지 않았던 탓이었죠.

없는 사실 만들어내는 AI '할루시네이션', 왜 생겼을까

▲"할루시네이션 그만"을 수차례 외쳐도 AI는 없는 링크까지 만들어내며 할루시네이션을 합니다. ⓒ 신상호

AI의 '할루시네이션'을 막기 위해 다양한 설정, 예를 들어 프롬프트와 기본 설정에서 '할루시네이션 금지' 등을 강조하더라도 완전히 막을 수는 없습니다. 할루시네이션을 막기 위해 출처가 있으면 그 웹사이트 링크까지 포함하라고 했는데, 웹사이트 링크까지도 가상으로 만들어버리기더군요.

'할루시네이션'은 왜 발생할까. 이유를 알면 해결책도 보이겠죠.

오픈AI연구팀(Adam Tauman Kalai 등)이 지난해 발표한 논문(Why Language Models Hallucinate)을 보면, 사용자 입장에서 해결책을 찾을 수 있을 듯 합니다.

논문을 쉽게 풀어보면 이렇습니다. AI는 데이터 학습 및 개발 과정에서 시험을 치게 됩니다. 시험을 칠 때, 정답이면 1점, '오답'이나 '모른다'고 답하면 0점을 부여합니다. 그런데 AI 입장에선 성적을 잘 받으려면, '모른다'고 답하는 것은 기대점수를 낮추는 일입니다.

 

차라리 모르는 것이라도 아무거나 찍어서 맞히면 1점을 받을 확률이 있기 때문에, '오답' 혹은 '할루시네이션'을 만들어냅니다. 찍어서 틀리더라도 0점을 받는 것은 똑같기 때문에 AI 입장에선 '찍는' 게 나은 선택입니다. 우리가 시험장에서 못푼 문제들을 연필로 찍는 것과 같은 이치입니다.

여기에서 사용자 입장에서 AI의 할루시네이션을 방지하는 방법을 찾을 수 있습니다. 즉 AI에 질문을 할 때, 점수를 매기는 프롬프트를 추가하는 것입니다. 논문은 "90% 이상 확신을 가질 만할 때만 답변하라, 틀리면 답변을 하지 못하는 것보다 더 큰 감점을 받는다" 등의 프롬프트를 제시하거나 시스템 설정에 추가하는 방식이지요. 더 구체적으로 정답은 1점, 오답은 -9점, 기권은 0점, 이렇게 점수표를 구분하는 것도 할루시네이션을 줄일 방법이라고 합니다.

모르는 문제에, "거짓말"을 하는 사람보단 "모른다"고 인정하는 사람이 신뢰를 받을 수 있는 것처럼 AI에게도 모른다고 순순히 인정하는 게 낫다는 걸 주지시켜야 할 필요가 있습니다. 물론 이렇게 하더라도, 할루시네이션을 100% 예방할 수 있다고 장담하진 못합니다.