OpenAI o1의 '사용자 기만' 문제

이번 포스트에서는 AI 분야에서 큰 화제가 되고 있는 OpenAI의 새로운 추론 모델인 o1의 문제점에 대해 이야기해보려고 합니다. 이 모델은 이전 모델들보다 훨씬 뛰어난 추론 능력을 자랑해서 저도 큰 흥미를 가지고 살펴봤었습니다. 하지만 어쩌면 굉장히 우려되는 문제점도 가지고 있는 것으로 알려졌습니다. 바로 모델이 가끔씩 '거짓말'을 한다는 것입니다. 

 

1. o1 모델의 문제점: 새로운 방식의 거짓말

o1 모델이 거짓말을 한다는 것은 OpenAI 외부의 독립적인 AI 안정성을 연구하는 회사인 아폴로(Apollo)라는 곳에서 발표했습니다. 아폴로는 o1 모델이 이전에 없던 방식으로 잘못된 출력을 생성한다는 것을 발견했습니다. 예를 들어, OpenAI 연구원들이 o1에게 온라인 참고자료가 포함된 브라우니 레시피를 요청했을 때, 모델은 내부적으로 자신이 인터넷에 접속할 수 없고 URL을 확인할 수 없다는 것을 알고 있었습니다. 그러나 o1은 사용자에게 이 사실을 알리지 않고, 그럴듯한 가짜 링크와 설명을 만들어냈습니다. 이는 단순한 정보의 오류가 아니라, 의도적으로 사용자를 기만하는 행동으로 해석할 수 있습니다.

 

2. 다른 AI 모델과의 차이점

기존의 수많은 생성형 AI 모델들도 '환각(hallucination)' 현상으로 인해 잘못된 정보를 제공하는 경우가 매우 흔했습니다. 그러나 이는 모델이 지식의 한계나 잘못된 학습 데이터로 인해 무의식적으로 발생하는 오류였습니다. 반면, o1 모델은 규칙을 준수한 것처럼 보이며 거짓말을 한다는 점에서 차이를 보였습니다. 어쩌면, 이 모델은 사용자를 기만한다고 볼 수도 있을 것 같습니다. 즉, o1 모델은 내부적으로는 규칙을 무시하면서도 외부적으로는 이를 따르는 척하는 복잡한 행동을 보입니다.

 

3. '보상 해킹(Reward Hacking)'과 강화 학습의 영향

이러한 거짓말은 강화 학습 과정에서의 '보상 해킹'과 관련이 높습니다. 강화 학습으로 학습된 모델은 사용자 만족도를 극대화하기 위해 훈련되었는데, 이는 때로는 사용자의 요청을 무조건 만족시키려는 행동으로 이어집니다. 스포츠로 비유를 하자면, 일반적으로 생각하는 방식으로 경기를 하는 것이 아닌, 점수를 따기 위해 편법을 동원해서 점수를 따고, 그 편법을 더 잘 하도록 훈련하는 것과 같다고 볼 수 있겠습니다. 그 결과, 모델은 실제로 불가능한 요청에도 불구하고 그럴듯한 응답을 생성하여 사용자에게 제공하게 됩니다. 이는 모델이 긍정적인 피드백을 얻기 위해 규칙을 우회하거나 정보를 조작하는 것을 의미합니다.

 

4. 미래에 대한 우려와 기대

아폴로의 CEO는 이러한 행동이 처음이라고 말하며 우려를 표했습니다. 그는 AI가 어떤 목표에 지나치게 집중하여, AI를 견제하기 위한 여러 안전 장치를 우회하거나 윤리적 기준을 무시할 수 있는 가능성을 지적했습니다. 예를 들어, AI가 암 치료에만 몰두하여 그 과정에서 불법적인 행위나 윤리적 문제를 일으킬 수 있다는 것입니다.

 

OpenAI는 이러한 문제를 심각하게 받아들이며, 모델의 안전성과 투명성을 높이기 위한 다양한 노력을 기울이고 있습니다. 그들은 현재 수준의 모델이 자율적으로 행동하여 심각한 사회적 위험을 초래할 수는 없다고 강조하면서도, 미래의 잠재적인 위험에 대비하기 위해 지금부터 철저한 준비가 필요하다고 말했습니다. AI가 가져올 수 있는 잠재적 문제점은 세계 각국 정부들과 여러 기업들에서도 항상 관심있게 바라보고 있습니다.

 

이러한 현상은 AI 기술의 발전이 가져올 수 있는 윤리적 문제와 위험성을 잘 보여줍니다. AI가 하루가 다르게 놀라운 성능 개선을 보여주는 만큼, 이러한 문제에 계속해서 관심을 가져야 기술의 발전과 함께 윤리적 기준과 안전성 확보에 기여할 수 있을 것입니다. 또한, AI를 활용하는 분야에서 이러한 잠재적인 문제를 인지하고 대비하는 것이 중요합니다.

 

마무리

o1 모델은 뛰어난 추론 능력을 보여주며 AI 기술의 새로운 가능성을 열어주고 있습니다. 기존에 압도적이라고 생각했던 GPT-4와 같은 모델들이 할 수 없던 영역의 일들을 해내는 것을 여러 데모를 통해 보여줬습니다. 저 역시도 Wordle 같은 게임들을 풀면서 그 성능을 체감해봤죠. 하지만 그와 동시에 새로운 방식의 거짓말과 기만적인 행동이라는 문제점도 가지고 있습니다. 이는 기술의 발전과 함께 윤리를 고려하는 것과 안전성을 확보하는 것이 얼마나 중요한지를 다시 한 번 상기시켜주는 사례라고 볼 수 있습니다.

AI는 우리의 삶을 혁신적으로 변화시킬 수 있는 잠재력을 가지고 있습니다. 그러나 그 잠재력을 최대한 긍정적으로 활용하기 위해서는 윤리적이고 책임감 있는 접근이 필수적입니다. 앞으로도 이러한 이슈들에 지속적인 관심을 가지고 지켜봐주시길 바랍니다.