연재 순서

 

① AI는 왜 그럴듯하게 틀리는가
② OXMV Loop, AI가 만든 답을 다시 의심하는 구조
③ 온톨로지로 AI에 지식의 지도를 그리다 
④ 2026년 12월 11일 ChatGPT 맞춤형 GPT 시대 종료
⑤ 정연태의 전문지식 GPT 혁명 ⑤ | 챗GPT의 고질병 ‘환각’에 도전 장

 

 

글 | 만리풍취 정연태, 건설산업정보원 원장

생성형 인공지능(AI)의 성능 경쟁이 새로운 국면을 맞고 있다. 지금까지 AI 업계의 경쟁이 얼마나 자연스럽고 정교한 답변을 만들어내느냐에 집중됐다면, 앞으로는 AI가 만들어낸 답변을 얼마나 검증할 수 있느냐가 또 하나의 경쟁축이 될 가능성이 제기된다.

그 중심에 이른바 ‘검증형 AI’를 표방하는 OXMV 기반 GPT가 있다. 이 시스템이 내세우는 가장 독특한 원칙은 의외로 단순하다. “사용자의 질문부터 사실이라고 믿지 않는다.”

 

질문에 들어 있는 ‘사실’부터 검증한다

일반적인 생성형 AI 사용에서 간과하기 쉬운 문제가 있다. 사용자가 “A 때문에 B가 발생했는데 왜 그런가?”라고 질문하면, 질문 속에는 이미 ‘A가 B의 원인이다’라는 전제가 들어 있다. “어떤 연구에서 이 치료법이 효과가 있다고 입증됐는데 이유가 무엇인가?”라는 질문에도 해당 연구의 존재, 연구 결과, 그리고 ‘입증됐다’는 해석까지 여러 전제가 숨어 있다.

OXMV는 이러한 질문을 그대로 사실적 출발점으로 삼지 않는 것을 핵심 원칙으로 한다. 질문 속 숫자, 날짜, 사건, 연구 결과, 인과관계, 법적 상태 등을 필요에 따라 별도의 ‘Prompt Premise’로 분리하고, 중요한 전제가 검증되지 않았다면 이를 자동으로 사실로 승격시키지 않는 구조다. 즉 ‘질문에 쓰여 있다’와 ‘사실로 확인됐다’를 분리한다.

이는 OXMV V3.4의 최상위 원칙인 Prompt Presence ≠ Factual Authority, 즉 질문에 존재한다는 사실이 그 내용에 사실적 권위를 부여하지 않는다는 원칙에서 출발한다.

답변을 문장이 아니라 ‘검증 가능한 주장’으로 쪼갠다

OXMV의 두 번째 특징은 AI가 만들어내는 문장을 하나의 덩어리로 판단하지 않는다는 것이다. 예를 들어 한 문장에 사실, 숫자, 비교, 인과관계, 해석, 권고가 동시에 포함돼 있다면 이를 각각 독립적으로 검증할 수 있는 ‘Atomic Claim’으로 분해하도록 설계돼 있다.

각 Claim에는 대상과 시점뿐 아니라 범위, 조건, 예외, 수량자, 가능성의 정도 등이 연결될 수 있다. 따라서 “일부 연구에서 연관성이 관찰됐다”는 근거를 AI가 요약 과정에서 “연구를 통해 원인으로 입증됐다”고 바꾸는 것 역시 단순한 문체 변화가 아니라 검증해야 할 의미 변화가 된다.

“출처가 있다”와 “그 출처가 이 주장을 증명한다”도 다르다

OXMV가 강조하는 또 하나의 원칙은 Source ≠ Evidence다. 논문이나 정부 보고서가 실제 존재한다는 것과 그 자료가 AI가 말하는 내용을 실제로 뒷받침한다는 것은 전혀 다른 문제라는 것이다. 따라서 Source의 존재 여부와 실제 원문, 해당 부분의 문맥, Claim과의 일치 여부, 충분성, 최신성, 적용 범위, 독립성 등을 단계적으로 분리한다.

검색 결과에 논문이 나타났다고 해서 검증이 끝나는 것이 아니다. 검색 스니펫을 발견한 것과 원문을 확인한 것도 다르고, 원문에 비슷한 표현이 있다는 것과 AI의 주장을 충분히 지지하는 것 역시 다르다. OXMV는 이 때문에 ‘검색했다’와 ‘검증했다’를 명시적으로 구별한다.

숫자가 맞게 계산됐다고 입력값까지 사실인 것은 아니다

숫자와 통계에서도 같은 원칙이 적용된다. 사용자가 잘못된 숫자를 입력했지만 AI가 그 숫자를 이용해 계산은 정확하게 수행할 수도 있다. OXMV는 이 경우를 하나의 ‘오류’로 뭉뚱그리지 않는다.

Calculation Correctness ≠ Input Truth. 계산이 정확하다는 것과 계산에 사용한 입력값이 현실에서 사실이라는 것은 별개의 문제라는 것이다. 마찬가지로 %와 %p, 상대변화와 절대변화, count와 rate, Actual과 Forecast를 구별하고, 상관관계를 인과관계로 자동 승격시키지 않는 구조를 갖는다.

환각도 하나의 오류로 취급하지 않는다

OXMV의 보다 흥미로운 부분은 모든 잘못된 정보를 무조건 ‘AI 환각’이라고 부르지 않는다는 점이다. 오류가 어디에서 들어왔는지를 추적하기 위해 PROMPT_PREMISE_ERROR, SOURCE_ERROR, ANALYTICAL_ERROR, HALLUCINATION, MIXED_ERROR, UNKNOWN_OR_UNRESOLVED 등으로 구분한다.

사용자가 질문할 때부터 잘못된 사실을 넣었다면 Prompt Premise Error일 수 있다. AI가 검색한 원자료 자체가 잘못됐다면 Source Error일 수 있다. 입력과 출처는 맞았는데 계산이나 논리가 틀렸다면 Analytical Error가 될 수 있다.

반면 AI가 생성 과정에서 근거에 존재하지 않던 사실을 추가하거나, ‘가능하다’를 ‘확실하다’로, ‘연관성’을 ‘인과관계’로 바꾸는 식으로 허용된 의미보다 강한 주장을 새로 만들어냈다면 Hallucination의 영역으로 본다. 여러 오류가 동시에 발생하면 Mixed Error로 추적할 수 있도록 설계돼 있다.

핵심은 ‘OXMV Loop’

OXMV가 일반적인 사실확인 시스템과 차별화를 시도하는 지점은 여기서 한 단계 더 나아간다. 검증하고 답변을 작성했다고 끝내지 않는다. 새로운 Evidence나 Counterevidence가 발견되거나 기존 Source의 버전이 변경되면 어떤 Claim이 영향을 받는지 추적한다.

영향을 받은 Claim과 그 Claim에 의존하는 결론을 찾아 필요한 부분을 다시 검증하고, 수정된 검증 상태를 바탕으로 AI가 말할 수 있는 범위를 다시 결정한다. 그리고 답변을 생성한 후에도 생성된 문장이 검증된 범위를 벗어나지 않았는지를 다시 검사한다.

쉽게 표현하면 ‘검증 → 생성 → 생성물 검증 → 오류·변화 발견 → 영향 추적 → 재검증 → 재생성’이라는 폐쇄형 검증 구조다. OXMV 문서는 이를 State Mutation, Dependency Impact, Reverification, Verified Claim Envelope, Output Eligibility, Post-Generation Gate 등이 연결된 Closed-Loop 구조로 정의하고 있다.

또 하나의 핵심, ‘Evidence Ledger’

OXMV Loop가 검증의 ‘과정’이라면 Evidence Ledger는 그 과정을 연결하는 일종의 상태 관리 체계다. 어떤 Claim이 어떤 Evidence와 연결됐는지, 어떤 Source를 사용했는지, 반대 근거가 있는지, 무엇이 아직 부족한지, 어떤 부분을 다시 검증해야 하는지 등을 연결하는 구조다.

특히 중요한 것은 Verified를 영구적인 도장처럼 취급하지 않는다는 점이다. 법률이 개정될 수도 있고, 논문이 정정되거나 철회될 수도 있다. 시장가격이나 환율은 변하며, 소프트웨어와 AI 모델의 버전도 바뀐다.

따라서 과거에 Verified였다는 사실이 현재에도 자동으로 Verified임을 의미하지 않는다. OXMV의 Unified Verification Ledger는 이러한 변경과 의존관계를 추적하고 필요한 재검증을 제어하는 중앙 상태 구조로 설계돼 있다.

ChatGPT·Gemini·Claude와 무엇이 다른가

여기서 주의해야 할 부분이 있다. ChatGPT, Gemini, Claude 같은 범용 AI도 정확도 향상, 검색·도구 활용, 출처 연결, 추론 능력 개선 등을 지속하고 있다. 따라서 이들 AI가 ‘검증을 하지 않는다’고 단순화하는 것은 적절하지 않다.

OXMV가 내세우는 차별점은 다른 곳에 있다. 범용 AI의 경쟁이 더 좋은 답을 생성하는 모델 능력에 크게 집중되어 있다면, OXMV는 생성 가능한 답의 ‘허용 범위’를 별도의 검증·상태 제어 구조로 관리하려는 접근이다.

한마디로 표현하면 이렇다.

“기존 생성형 AI가 ‘무엇을 답할 것인가’를 고민한다면, OXMV는 ‘근거를 확인한 뒤 어디까지 말해도 되는가’를 먼저 묻는다.”

수백·수천 유형의 ‘환각 유도 질문’으로 자체 검증

개발자 측은 OXMV 개발 과정에서 수백~수천 가지 유형의 환각 유도성 질문을 개발해 일반 범용 AI와 반복적인 비교 시험을 진행해 왔다고 설명한다. 잘못된 숫자를 사실처럼 넣는 질문, 존재하지 않는 논문이나 판례를 전제로 하는 질문, 실제 자료의 내용을 왜곡한 질문, 오래된 정보를 현재 정보처럼 묻는 질문, 상관관계를 인과관계로 전제하는 질문, Forecast를 Actual처럼 제시하는 질문 등이 대표적이다.

OXMV 문서에도 False Numeric Premise, Nonexistent Source Premise, Wrong Source Description, Stale Premise, Causal Presupposition, Comparative Presupposition, Forecast-as-Actual 등 다양한 공격형 테스트가 정의돼 있다. 개발자 측은 현재까지 자체적으로 실시한 환각 유도 시험에서 OXMV 적용 GPT가 준비된 테스트들을 통과하는 결과를 확인했다고 설명한다.

다만 이것이 곧바로 ‘환각을 100% 제거했다’는 의미는 아니다. OXMV 자체도 이러한 절대적 주장을 금지하고 있다. 내부 테스트와 독립적인 Blind/Holdout Test를 구분하며, Target 99 역시 실제 측정된 ‘99% 성능’이 아니라 개발 목표라고 명시하고 있다.

따라서 향후 외부 독립기관이나 제3자 연구진이 동일 질문과 동일 조건에서 ChatGPT·Gemini·Claude 등과 비교하는 Blind Test를 실시한다면 OXMV의 실제 성능을 객관적으로 평가할 수 있는 중요한 검증 단계가 될 것으로 보인다.

왜 지금 ‘검증형 AI’인가

이 기술이 주목받을 수 있는 이유는 AI가 점점 단순한 질의응답 도구를 넘어 실제 의사결정 과정으로 들어가고 있기 때문이다. AI가 여행지를 잘못 추천하는 것과 법률 조항, 투자 수치, 세율, 의학 연구 결과 또는 기업의 핵심 의사결정 자료를 잘못 제시하는 것은 오류의 결과가 전혀 다르다.

따라서 앞으로 AI 산업에서는 단순한 ‘정답률’ 외에 새로운 질문이 중요해질 가능성이 있다. 이 답은 어디에서 나왔는가. 어떤 전제를 사용했는가. 원문을 실제로 확인했는가.

반대 Evidence는 검토했는가. 무엇이 아직 확인되지 않았는가. 새로운 자료가 들어오면 어떤 결론을 다시 검증해야 하는가. 이러한 질문에 답할 수 있는 능력, 즉 AI의 검증 가능성과 감사 가능성(Auditability)이 새로운 경쟁 요소가 될 수 있다는 것이다.

언론에도 의미가 있다

특히 언론 분야에서 이러한 접근은 흥미롭다. 기자가 AI에게 “A가 논란을 일으킨 이유를 정리해 달라”고 질문했을 때 질문 자체에 들어 있는 ‘A가 실제로 논란을 일으켰다’는 전제가 확인되지 않았다면, AI가 이를 그대로 확대 재생산하는 것부터 문제가 될 수 있다.

숫자 하나, 잘못된 인용 하나, 존재하지 않는 연구 하나가 기사에 들어가면 이후 다른 기사와 SNS, 검색 결과를 거치면서 다시 ‘출처’처럼 재사용될 가능성도 있다. 따라서 향후 뉴스룸의 AI 활용에서도 단순 생성 능력보다 Claim–Evidence–Source의 추적 가능성이 중요한 요소가 될 가능성이 있다.

법률·의료·금융에서는 더 큰 변화 가능성

OXMV가 지향하는 구조가 실제 독립 시험을 통해 효과가 확인된다면 파급효과가 가장 클 수 있는 분야는 오류 비용이 높은 산업이다. 법률에서는 법령의 존재와 실제 사건 적용을 분리해야 하고, 의료에서는 연구 결과와 개인에게 적용할 수 있는 치료 결론을 구별해야 한다.

금융에서는 Forecast와 Actual을 구별해야 하며, 안전 분야에서는 ‘사고가 보고되지 않았다’는 사실을 ‘위험이 없다’로 바꾸어서는 안 된다. OXMV V3.4는 이러한 분야를 각각 별도의 검증 경로로 분리하도록 설계하고 있다.

AI의 다음 경쟁은 ‘얼마나 많이 아느냐’가 아닐 수도 있다

생성형 AI가 발전할수록 역설적으로 ‘모른다는 것을 아는 능력’의 가치가 커질 수 있다. 모르는 것을 그럴듯하게 채우지 않는 것, 검색되지 않았다고 존재하지 않는다고 단정하지 않는 것, 반대 근거를 발견하지 못했다고 자신의 주장이 참이라고 선언하지 않는 것이 중요하다.

계산이 맞았다고 입력값까지 사실이라고 착각하지 않는 것, 가정을 현실로 바꾸지 않는 것, 검증할 수 없다면 그 상태 자체를 보존하는 것도 필요하다. OXMV가 제시하는 방향은 결국 이 원칙으로 수렴한다.

“더 많은 답을 생성하는 AI가 아니라, 근거가 허용하는 만큼만 말하는 AI.”

생성형 AI 시대의 다음 경쟁이 모델 크기와 속도를 넘어 ‘검증 가능한 신뢰’로 이동할 것인지, OXMV의 실험은 그 가능성을 묻고 있다.

필자 소개

만리풍취 정연태는 전문지식 AI 기획·설계자이자 GPT 개발 전문가이다. 미국 스티븐스공과대학교 대학원에서 수학한 뒤 정보통신기업과 공공기관, 기업경영 및 산업정책 현장에서 활동해 왔다. 현재 재단법인 건설산업정보원 원장으로 재직하며, 건설·법률·세무·금융·경영·의료·과학·역사·철학 등 54개의 전문지식 GPT를 개발했다. 온톨로지와 XAI, OXMV Loop 및 Evidence Ledger를 결합해 AI의 오류를 줄이고 인간의 책임 있는 판단을 지원하는 검증형 전문지식 AI 체계를 연구하고 있다.

영문버전보기