글 | 만리풍취 정연태
생성형 인공지능의 발전이 빨라질수록 한 가지 문제는 더욱 중요해지고 있다. 바로 AI의 ‘환각(Hallucination)’이다. AI가 존재하지 않는 사실이나 출처, 숫자, 논리를 실제처럼 만들어내는 현상이다. 오늘날 이 문제를 해결하기 위한 연구는 대부분 환각 자체를 줄이는 데 집중한다. 더 좋은 학습 데이터와 검색, 사실 검증, 추론 개선, 평가 기술을 이용해 AI가 틀린 답을 생성할 가능성을 낮추는 것이다.
물론 반드시 필요한 접근이다. 그러나 나는 조금 다른 질문에서 출발했다. “AI의 환각을 완전히 없앨 수 없다면, 적어도 검증되지 않은 환각이 현실에서 실행되는 것은 막을 수 있지 않을까?”
이 질문은 AI가 단순히 대화를 생성하는 도구에 머무르는 동안에는 그다지 중요하지 않아 보일 수 있다. 하지만 AI가 스스로 계획하고 외부 도구를 사용하며 코드, 금융, 의료, 기업 시스템, 로봇 등 현실 세계와 연결되기 시작하면 문제의 성격은 달라진다. 잘못된 문장을 만드는 것과 그 문장을 근거로 실제 행동을 실행하는 것은 전혀 다른 문제이기 때문이다.
인간의 꿈에서 얻은 단서
흥미롭게도 이 생각의 출발점은 인공지능이 아니라 인간의 ‘꿈’이었다. 인간은 잠을 자는 동안 현실에 존재하지 않는 사람과 장소를 경험하기도 하고, 실제로 일어나지 않은 사건을 매우 생생하게 경험하기도 한다. 꿈속에서는 달리고, 싸우고, 도망치고, 뛰어내릴 수도 있다. 그러나 정상적인 수면에서는 꿈속의 행동이 그대로 실제 신체 행동으로 나타나는 경우가 제한적이다. 뇌과학적으로 꿈을 만드는 하나의 ‘꿈 영역’과 행동을 담당하는 하나의 ‘실행 영역’이 완전히 분리돼 있다고 단순화해서 말할 수는 없다.
인간의 뇌는 훨씬 복잡한 네트워크다. 다만 REM 수면에서는 생생한 꿈이 나타나는 가운데 골격근 활동이 강하게 억제되는 현상이 알려져 있다. 이른바 REM 수면 중 근긴장 억제다.
여기에서 나는 하나의 시스템 설계 원리를 떠올렸다. 내부에서 무엇인가가 생성되는 것과, 그것이 현실에서 실행되는 것은 반드시 같은 단계일 필요가 없다. 안전은 반드시 내부 생성을 완전히 없애야만 확보되는 것이 아닐 수 있다. 내부에서 생성된 정보와 실제 행동 사이에 별도의 통제 지점을 둘 수도 있다.
‘환각 제거’에서 ‘환각 통제’로
AI의 환각 문제도 이 관점에서 다시 볼 필요가 있다. 예를 들어 AI가 존재하지 않는 법률 조항을 만들어냈다고 가정해 보자. 그 내용을 화면에 출력하는 것과, 그것을 사실이라고 판단해 실제 계약서를 자동으로 수정하는 것은 위험의 수준이 다르다. 의료 분야에서도 마찬가지다.
AI가 잘못된 의학 정보를 생성하는 것과 그것을 근거로 실제 치료 결정을 내리는 것은 다른 문제다. 금융에서도 잘못된 숫자를 생성하는 것과 그 숫자를 기반으로 실제 거래를 실행하는 것은 같지 않다. 따라서 미래 AI 안전의 목표는 단순히 ‘Hallucination Elimination’, 즉 환각 제거에 머물러서는 안 된다고 생각한다. 그와 함께 ‘Hallucination Containment’, 즉 검증되지 않은 환각이 현실 행동으로 확산되지 않도록 통제하는 구조가 필요하다.
생성과 실행 사이에 검증이 있어야 한다
이를 가장 단순하게 표현하면 다음과 같다.
Generation → Verification → Execution
AI는 먼저 생성할 수 있다. 가설을 만들고, 새로운 아이디어를 제시하고, 여러 가능성을 탐색할 수 있다. 그러나 생성된 결과가 현실에 영향을 미치는 행동으로 이어지기 위해서는 별도의 검증 과정을 통과해야 한다. 핵심은 AI의 생성 능력을 억압하는 것이 아니다.
생성 능력과 실행 권한을 분리하는 것이다. AI가 어떤 생각을 만들어낼 수 있다는 사실이 곧 그 생각을 실행할 권한까지 갖는다는 의미는 아니다. 이 원리는 AI가 강력해질수록 더욱 중요해진다. 오늘날의 챗봇은 대체로 사람에게 답을 보여주는 수준에 머물지만 미래의 AI 에이전트와 AGI가 코드 실행, 금융 시스템, 의료기기, 산업설비, 로봇, 행정 시스템 등과 직접 연결된다면 한 번의 잘못된 판단이 현실의 결과로 이어질 가능성은 커진다.
지능과 권한은 같은 것이 아니다
AGI에 대한 논의는 대부분 얼마나 높은 지능을 갖게 될 것인지에 집중한다. 하지만 지능과 권한은 구분해야 한다. 아무리 뛰어난 판단 능력을 가진 시스템이라도 모든 결과를 자동으로 실행하도록 허용할 필요는 없다. 오히려 나는 반대로 생각한다.
AI가 강력해질수록 실행 권한은 더욱 엄격하게 관리해야 한다. 인간 사회에서도 아이디어, 분석, 검토, 승인, 실행은 흔히 구분된다. 중요한 금융 거래나 의료 결정, 산업 안전 시스템도 하나의 판단만으로 모든 행동이 자동 실행되도록 설계하지 않는다. AGI 또한 능력이 강해질수록 ‘무엇을 생각할 수 있는가’뿐 아니라 ‘무엇을 실제로 할 수 있도록 허용할 것인가’가 핵심 안전 문제가 될 수 있다.
AI에게 꿈을 꾸지 못하게 해야 하는가
여기에는 또 다른 문제가 있다. AI가 새로운 해결책을 만들어내려면 기존에 존재하지 않던 가능성을 탐색할 수 있어야 한다. 가설을 만들고, 새로운 조합을 시도하며, 확정되지 않은 가능성을 생각하는 과정은 창의적 생성 능력과 연결된다. 안전을 위해 모든 불확실한 생성을 제거한다면 AI의 창의적 탐색 능력까지 함께 제한될 가능성이 있다.
그래서 나는 안전의 목표를 이렇게 보고 있다. AI가 꿈을 꾸지 못하게 하는 것이 아니라, 그 꿈이 검증 없이 현실을 움직이지 못하게 하는 것. 생성은 허용하되 사실로 채택하는 단계는 분리한다. 사실로 충분히 검증됐다고 하더라도 고위험 행동이라면 다시 실행 조건을 확인한다. 이것이 생성형 AI에서 에이전트, 그리고 AGI로 넘어갈수록 중요해질 수 있는 안전 원칙이라고 생각한다.
“Dream freely. Execute only after verification.”
이 철학을 한 문장으로 표현하면 이렇다.
“Dream freely. Execute only after verification.”
자유롭게 생성하라. 그러나 검증된 뒤에 실행하라.
인간의 꿈과 AI의 환각이 과학적으로 같은 현상이라는 뜻은 아니다. 둘의 메커니즘이 동일하다고 주장할 근거도 없다. 내가 주목하는 것은 두 현상의 동일성이 아니라 시스템 설계의 비유다. 인간의 뇌에서 내부 경험의 생성과 실제 운동의 실행이 항상 하나로 묶여 있지 않듯이, AI에서도 생성과 현실 행동을 하나의 연속된 자동 과정으로 만들 필요는 없다는 것이다.
이 생각은 OXMV로 이어졌다
나는 이 철학을 실제 AI 검증 시스템에 적용하기 위해 OXMV를 개발하기 시작했다. 구체적인 내부 구조를 공개적으로 설명하지는 않으려 한다. 다만 출발 원칙은 명확하다.
AI가 생성한 것은 곧바로 사실이 아니다. 그리고, 사실처럼 보인다고 해서 곧바로 실행할 수 있는 것도 아니다. 생성과 검증을 분리하고, 검증과 실행도 다시 분리하는 것이다. 미래의 AI가 인간보다 훨씬 많은 정보를 다루고 더 빠르게 판단하게 되더라도, 그 능력과 현실 실행 권한 사이에는 안전을 위한 경계가 필요하다.
AGI 안전의 질문을 바꿔야 한다
우리는 흔히 AGI 시대의 안전을 생각하면서 묻는다. “어떻게 하면 AI가 절대 틀리지 않게 만들 수 있을까?” 그러나 다른 질문도 필요하다. “AI가 틀릴 수 있다는 전제에서도 안전한 시스템을 만들 수 있는가?”
완전히 오류 없는 지능을 전제로 안전을 설계하는 것과, 오류가 발생해도 그것이 곧바로 현실 행동으로 이어지지 않도록 설계하는 것은 전혀 다른 접근이다. 나는 후자가 미래 AGI 안전에서 매우 중요한 원리가 될 수 있다고 생각한다. 어쩌면 AGI 안전의 출발점은 AI에게 절대로 잘못된 생각을 하지 못하게 만드는 것이 아닐지도 모른다. AI도 틀릴 수 있다는 사실을 인정한 상태에서, 틀린 생성이 검증 없이 현실의 행동으로 바뀌지 못하도록 하는 것. 나에게 그 생각의 시작은 뜻밖에도 인간의 꿈이었다.
