서울, 2026년 9월 4일 — 생성형 인공지능이 빠르게 확산하는 가운데, 해결되지 않은 대표적 난제로 꼽혀온 ‘환각(Hallucination)’ 문제를 체계적으로 검증하고 차단하기 위한 새로운 기술이 한국에서 개발돼 특허 출원까지 완료됐다.

이번에 개발된 기술은 인공지능이 생성한 답변을 단순히 다시 검색해 확인하는 방식과 다르다. AI가 생성한 주요 주장에 대해 근거가 실제로 존재하는지, 해당 근거가 그 내용을 실질적으로 뒷받침하는지, 숫자와 논리는 정확한지, 중요한 조건이나 예외가 빠지지 않았는지, 상반된 근거가 존재하는지 등을 단계적으로 확인한다. 검증을 통과하지 못한 내용은 최종적으로 사용되지 않도록 제한하는 ‘Verification Gate’ 방식을 적용한다.

관련 기술은 2026년 9월 4일 대한민국 특허출원(출원번호 10-2026-0168063)을 완료했다.

AI 시대의 고질적 난제, ‘그럴듯하게 틀리는 문제’

ChatGPT를 비롯한 생성형 AI는 이미 전 세계의 정보·업무 인프라로 빠르게 자리 잡고 있다. OpenAI는 현재 ChatGPT가 주간 활성 사용자 10억 명 이상에게 제공되고 있다고 밝히고 있다. Google의 Gemini와 Anthropic의 Claude 등을 고려하면 생성형 AI가 개인과 기업의 업무에 미치는 영향은 이미 막대한 수준이다.

하지만 기술 발전에도 불구하고 AI가 존재하지 않는 사실이나 출처를 그럴듯하게 만들어내는 환각 문제는 여전히 신뢰성을 가로막는 핵심 요인이다.

학계에서도 이 문제가 단순한 소프트웨어 결함처럼 쉽게 사라질 것으로 보지는 않는다. 2026년 Nature에 발표된 연구는 현재의 평가 방식과 언어모델의 작동 특성이 환각을 지속시키는 구조적 요인을 분석했으며, 기존의 여러 완화 기술을 적용하더라도 환각이 여전히 남는다고 지적했다.

한국에서 개발된 이번 기술은 접근 방식을 바꿨다.

정연태 건설산업정보원 원장은 “이 기술의 목표는 AI가 절대로 틀리지 않도록 만드는 데 있지 않다”며 “AI가 오류를 생성하더라도 검증되지 않은 내용이 사실처럼 최종 결과물을 통과하지 못하도록 생성 과정에 체계적인 검증 절차를 적용하는 것이 핵심”이라고 말했다.

자체 블라인드 시험…환각 사례 모두 찾아냈다

개발 과정에서는 의료·법률·산업안전·기술·투자 분야가 결합된 가상의 복합 의사결정 보고서를 만들고 별도의 블라인드 검증시험을 실시했다.

보고서에는 가공된 논문과 출처를 비롯해 숫자 해석 오류, 과도한 인과관계 설정, 적용 범위 확대, 안전성 과장, 중요한 조건과 위험의 누락 등 서로 다른 유형의 검증 함정을 사전에 배치했다.

시험 대상 시스템에는 정답을 알려주지 않은 상태에서 보고서를 독립적으로 검증하도록 한 뒤, 그 결과를 미리 작성해 둔 정답표와 사후에 비교했다.

그 결과, 40개의 복합 검증 함정 가운데 39개를 완전히 탐지하고 1개를 부분적으로 탐지했으며, 완전히 놓친 항목은 없었다.

부분 탐지에 절반의 점수를 적용한 종합평가 결과는 98.75%, 약 98.8%였다.

전체 오류 가운데 시험에 의도적으로 포함한 환각 현상만 별도로 평가했을 때는 준비된 사례를 모두 탐지하고 차단했다.

자체 블라인드 평가셋을 기준으로 한 환각 탐지·방어율은 100%였으며, 관찰된 완전 미탐지 사례는 0건이었다.

이는 종합평가 결과인 98.8%와 모순되지 않는다. 종합평가에서는 환각뿐 아니라 숫자·논리·인과관계·전문적 판단·정보 누락 등 훨씬 광범위한 오류를 함께 평가했기 때문이다.

다만 100%라는 수치는 해당 블라인드 평가셋에서 관찰된 결과다. 세상의 모든 환각을 100% 제거한다는 보편적인 성능 보장을 의미하지는 않는다.

ChatGPT·Gemini·Claude 결과 검사에서 한 단계 더

이번 기술의 또 다른 의미는 사후 검증에만 머물지 않는다는 점이다.

기존 생성형 AI로 보고서나 논문을 먼저 작성한 뒤 완성된 결과물을 Verification Gate에 입력해 검증할 수 있다. 처음부터 이 검증체계 안에서 보고서·논문·법률자료·투자분석 등을 작성하는 방식도 가능하도록 구축됐다.

이 경우 중요한 주장과 근거가 생성 과정부터 검증 대상이 된다.

검증되지 않은 출처나 숫자, 근거보다 강한 결론이 발견되면 이를 그대로 최종 문서에 반영하지 않고 수정하거나 제한한 뒤 다시 확인한다. 설계자료 역시 수정본을 새로운 생성물로 간주해 재검증하고, 수정 과정에서 새로운 환각이 발생했는지도 다시 확인하도록 규정하고 있다.

개발 방향은 “AI가 먼저 문서를 쓰고 사람이 나중에 오류를 찾는 방식”에서 “AI가 문서를 작성하는 과정 자체에 검증 절차를 결합하는 방식”으로의 전환에 가깝다.

이 접근법이 대규모 외부시험에서도 재현된다면 보고서 작성, 학술연구, 법률·계약 검토, 투자분석, 정책자료 등 출처와 사실의 정확성이 중요한 전문문서 분야에서 AI 활용 방식을 바꿀 가능성이 있다.

‘빠진 사실’까지 검사…환각의 범위를 넓게 본다

검증 대상은 명백하게 틀린 문장에 그치지 않는다.

예를 들어 중요한 예외를 빼고 법률을 설명하거나, 투자안의 장점만 제시한 채 하방 위험을 누락하거나, 연구 결과에서 부작용과 한계를 제외하면 개별 문장은 사실이더라도 문서 전체가 실제보다 훨씬 확실하거나 안전한 것처럼 보일 수 있다.

이번 시스템은 조건·예외·위험·대안·반대 근거의 중요한 누락도 검증 대상으로 삼도록 설계됐다.

현재의 결론이 틀렸다고 가정하고 상반된 자료와 다른 설명, 숨은 가정, 최악의 합리적 시나리오 등을 다시 검사하는 절차도 포함한다.

수백 페이지 전문문서 검증까지 겨냥

개발된 GPT는 짧은 질의응답뿐 아니라 보고서, 논문, 법률 검토의견서, 계약서, 투자자료 등 장문 문서의 검증에도 활용하는 것을 목표로 한다.

문서가 길어지면 전체를 단순히 요약하는 대신 중요한 결론과 근거를 추적하고, 여러 부분에 흩어진 관련 주장과 숫자가 서로 일치하는지 확인한다. 수정된 내용이 다른 결론에 미치는 영향까지 다시 검사하는 방식이다.

특히 수백 페이지에 달하는 기업 실사자료, 법률의견서, 연구자료처럼 한 곳의 오류가 수백 페이지 뒤에 제시되는 최종 결론을 바꿀 수 있는 문서에서 활용 가능성이 주목된다.

한국에서 특허 출원…이제 세계 시장에서 검증받을 차례

생성형 AI의 환각은 특정 기업만의 문제가 아니다.

ChatGPT, Gemini, Claude를 비롯한 언어모델 기반 서비스를 개발하는 기업과 개발자, 이를 업무와 연구에 사용하는 전 세계 이용자가 함께 마주한 신뢰성 문제다.

그런 점에서 한국 개발자가 환각 자체를 없애려는 모델 경쟁과 다른 방식으로 ‘검증을 통과하지 못한 오류를 최종 결과에서 차단한다’는 접근법을 실제 GPT 시스템으로 구현하고 특허 출원까지 완료했다는 점은 주목할 만하다.

다음 관문은 더 크고 독립적인 검증이다.

현재 결과는 개발 과정에서 수행한 자체 블라인드 시험에서 나온 만큼, 앞으로 개발자와 독립된 연구자·기업·평가기관이 만든 새로운 시험자료를 대상으로 반복 검증할 필요가 있다.

그 과정에서도 현재와 같은 환각 탐지 성능이 재현된다면 생성형 AI 산업의 오랜 평가 기준도 달라질 수 있다.

“어떤 AI가 가장 그럴듯하게 답하는가”를 넘어 “어떤 시스템이 검증되지 않은 답을 가장 확실하게 걸러내는가”가 새로운 경쟁 기준으로 부상할 수 있기 때문이다.

한국에서 출발한 이 기술이 생성형 AI의 신뢰성 문제에 어떤 변화를 가져올지 주목된다.

특허출원: 대한민국 특허출원 제10-2026-0168063호(2026년 9월 4일)
기술 방식: OXMV

영문버전 보기

연철웅 다른기사 보기