연재 순서
① AI는 왜 그럴듯하게 틀리는가
② OXMV Loop, AI가 만든 답을 다시 의심하는 구조
글 | 만리풍취 정연태
OXMV Loop, 답을 다시 의심하는 구조
내가 전문지식 GPT를 개발하며 가장 깊이 고민한 것은 AI에게 더 많은 지식을 넣는 일만이 아니었다. AI가 자신이 만든 답을 어떻게 다시 의심하게 할 것인가가 더 중요한 문제였다.
그 문제의식에서 OXMV Loop(순환 검증 구조)를 설계했다.
OXMV Loop는 첫 번째 답변을 곧바로 최종 결과로 확정하지 않는다. 답변을 구성하는 주요 주장과 사실, 출처, 개념, 관계, 적용 규칙, 판단과 결론을 나눈 뒤 단계적으로 검토한다.
먼저 질문이 요구하는 대상과 범위를 확정한다. 사용자가 검토를 원하는 것이 문서 전체인지, 특정 주장인지, 법적 효력인지, 사실관계인지 구분한다. 이 단계가 잘못되면 아무리 정교한 검토도 엉뚱한 대상을 향하게 된다.
다음으로 답변 속 주장을 사실, 해석, 추론, 가설, 의견과 권고로 구분한다. 사실로 제시된 내용은 출처와 대조해야 하지만, 해석이나 권고는 적용한 기준과 판단의 이유를 밝혀야 한다.
그다음 출처가 실제로 존재하는지 확인하고, 그 출처의 내용이 해당 주장을 직접 뒷받침하는지 살핀다. 관련 자료라는 이유만으로 증거가 되는 것은 아니다. 제목이 비슷하거나 같은 주제를 다루는 자료라도 구체적인 결론을 지지하지 않을 수 있다.
날짜, 숫자, 인명, 기관명, 법령, 조문, 판례, 논문과 통계는 별도로 점검한다. 최신성이 중요한 정보라면 현재도 유효한지 확인한다. 서로 충돌하는 자료가 있으면 하나를 임의로 선택하지 않고 충돌의 원인과 근거의 강도를 비교한다.
이후 개념과 관계가 논리적으로 연결되는지 검토한다. 사실이 맞더라도 적용한 규칙이 틀리거나, 규칙이 맞더라도 필요한 요건이 충족되지 않으면 결론은 성립하지 않는다.
마지막으로 결론에서 원문 근거까지 역으로 추적할 수 있는지 확인한다. 오류, 모순, 과장, 누락이나 근거 부족이 발견되면 답변을 수정하고 다시 검증한다.
OXMV Loop는 한 번의 점검으로 끝나는 직선형 절차가 아니다. 수정된 내용이 다른 주장과 결론에 어떤 영향을 미쳤는지 다시 살피는 순환구조이다. 하나의 숫자가 바뀌면 계산 결과와 그래프, 요약문과 최종 권고까지 함께 달라질 수 있기 때문이다.
검증은 틀린 문장 하나를 고치는 작업이 아니라, 그 문장과 연결된 지식 전체의 상태를 다시 확인하는 일이다.
Evidence Ledger 근거의 장부를 만든다
OXMV Loop가 검증의 과정이라면 Evidence Ledger(근거 장부)는 그 과정에서 사용한 근거와 상태를 기록한다.
기업의 회계장부가 돈의 흐름을 추적하듯, Evidence Ledger는 주장과 증거의 흐름을 추적한다.
어떤 주장이 제기되었는가. 그 주장을 지지하는 자료는 무엇인가. 반대하거나 제한하는 자료는 없는가. 자료는 원문인가, 보도자료인가, 2차 해설인가. 언제 작성되었으며 현재도 유효한가. 확인하지 못한 부분은 무엇인가. 근거가 수정되면 어떤 결론을 다시 검토해야 하는가.
이러한 내용을 기록하면 답변은 하나의 매끄러운 문장에서 검증 가능한 지식구조로 바뀐다.
예를 들어 “A회사는 계약 위반으로 손해배상 책임을 부담한다”는 결론이 있다고 하자. Evidence Ledger에서는 이를 하나의 단정으로 남겨두지 않는다.
계약서에 어떤 의무가 규정되어 있는지, 실제 위반행위가 무엇인지, 위반과 손해 사이에 인과관계가 있는지, 상대방에게 면책이나 책임제한 사유가 있는지, 손해액을 입증할 자료가 있는지를 각각 분리한다.
계약서와 공문, 회의록, 현장기록, 정산자료가 서로 다른 사실을 말한다면 그 충돌도 기록한다. 증거가 충분하지 않은 부분은 ‘확인’으로 표시하지 않고 ‘미확인’ 또는 ‘추가 검토 필요’로 남긴다.
이렇게 하면 최종 결론이 바뀌더라도 왜 바뀌었는지를 추적할 수 있다. 또한 사용자는 AI의 결론을 무조건 믿는 대신, 어느 부분이 강한 근거 위에 있고 어느 부분이 아직 불확실한지를 판단할 수 있다.
Evidence Ledger의 핵심은 출처의 수를 늘리는 데 있지 않다. 주장과 근거 사이의 실제 연결을 밝히는 데 있다.
짧은 시연: 같은 질문, 다른 답변
가상의 사례를 하나 살펴보자. 한 건설회사가 AI에게 다음과 같이 질문했다고 가정한다.
“발주자가 공사기간을 연장했으므로 우리 회사는 추가 공사비 전액을 받을 수 있지 않은가?”
검증 구조가 없는 AI는 이렇게 답할 가능성이 있다.
“발주자의 사유로 공사기간이 연장되었다면 시공사는 추가 공사비를 청구할 수 있다. 관련 자료를 정리해 청구서를 제출하면 된다.”
문장은 간결하고 그럴듯하다. 그러나 중요한 조건이 빠져 있다.
공기 연장의 원인이 전적으로 발주자에게 있는가. 시공자의 귀책사유가 함께 존재하지 않는가. 계약서에 기간 연장과 추가비용에 관한 조항이 어떻게 규정되어 있는가. 적법한 통지와 청구 절차를 지켰는가. 실제로 어떤 비용이 증가했으며 이를 입증할 자료가 있는가. 이미 체결한 변경계약이나 합의서가 청구 범위를 제한하지 않는가.
OXMV와 Evidence Ledger를 적용한 AI라면 답의 형태가 달라진다.
“공사기간이 연장되었다는 사실만으로 추가 공사비 전액의 지급이 자동으로 확정되는 것은 아니다. 연장 원인과 책임 주체, 계약 조항, 통지 및 청구 절차, 실제 증가비용과 인과관계, 변경계약이나 합의 여부를 확인해야 한다. 현재 자료만으로는 청구 가능성을 검토할 수 있으나 지급 범위와 승소 가능성을 단정하기 어렵다. 계약서, 공기연장 지시문서, 공정표, 현장기록, 비용증빙과 관련 협의자료가 추가로 필요하다.”
두 답변 가운데 두 번째 답변은 덜 단정적이다. 그러나 현실에서는 훨씬 더 유용하다. 사용자가 무엇을 확인하고 어떤 자료를 준비해야 하는지 알려주기 때문이다.
전문지식 AI의 품질은 얼마나 강하게 결론을 말하는가가 아니라, 결론을 말하기 전에 무엇을 확인했는가로 평가해야 한다.
AI가 해서는 안 되는 판단
검증 능력이 높아져도 AI가 인간을 대신해 내려서는 안 되는 결정이 있다.
앞의 사례에서 AI는 계약 조항을 비교하고, 쟁점을 정리하며, 청구에 필요한 증거와 위험을 제시할 수 있다. 유사한 법리와 분쟁 사례를 찾아 협상안이나 문서 초안을 만들 수도 있다.
그러나 “무조건 소송하라”거나 “담당자의 책임을 확정하라”고 결정해서는 안 된다.
소송은 법리만의 문제가 아니다. 증거의 강도, 비용과 시간, 거래관계, 기업의 평판, 협상 가능성과 경영전략이 함께 작용한다. 누군가에게 책임을 묻는 일도 사실관계와 절차적 권리를 충분히 확인해야 한다.
AI는 선택지를 분석할 수 있지만 그 선택의 결과를 살아내지 않는다. 그러므로 최종 결정과 책임은 인간에게 남아야 한다.
인간의 판단을 존중하는 AI는 결론을 회피하는 AI가 아니다. 판단에 필요한 정보와 위험을 충분히 보여주면서도 자신이 넘지 말아야 할 경계를 아는 AI이다.
검증은 속도를 늦추는가
누군가는 이렇게 물을 수 있다. “그렇게 많은 단계를 거치면 AI를 사용하는 의미가 없어지는 것 아닌가?”
검증은 일정한 시간과 노력을 필요로 한다. 모든 일상적인 질문에 동일한 수준의 검증을 적용할 필요도 없다. 오늘의 날씨를 묻는 질문과 수십억 원 규모의 계약을 검토하는 질문은 같은 절차로 다룰 수 없다.
중요한 것은 위험에 비례하는 검증이다. 오류가 미치는 영향이 작다면 간단한 확인으로 충분할 수 있다. 그러나 법률분쟁, 세금, 투자, 금융사고, 의료, 안전처럼 오류 비용이 큰 분야에서는 속도보다 정확성과 추적 가능성이 우선되어야 한다.
AI의 장점은 검증을 생략해 빨리 답하는 데만 있지 않다. 인간이 수많은 문서를 일일이 대조해야 했던 검토 작업을 더 빠르게 구조화하고, 놓치기 쉬운 관계와 모순을 찾아주는 데 있다.
검증은 AI의 속도를 버리는 일이 아니다. 그 속도가 잘못된 방향으로 달려가지 않도록 길을 만드는 일이다.
자동차의 브레이크가 속도를 방해하는 장치가 아니라 더 안전하게 달릴 수 있게 하는 장치인 것처럼, 검증체계는 AI의 능력을 제한하기 위해서만 존재하지 않는다. 전문적인 업무에 AI를 실제로 활용할 수 있도록 신뢰의 조건을 마련하는 장치이다.
AI 시대의 신뢰는 기록에서 시작된다
우리는 오랫동안 전문가의 학력, 경력과 직함을 신뢰의 기준으로 삼아왔다. 그러나 AI에는 학위도 직업적 양심도 법적 책임도 없다. AI가 유창하게 말한다는 이유만으로 그 답을 신뢰할 수는 없다.
AI 시대의 신뢰는 말투가 아니라 검증 가능한 기록에서 나와야 한다.
어떤 자료를 사용했는가. 무엇을 확인했는가. 어디까지 검토했는가. 어떤 반대 증거가 있었는가. 무엇은 여전히 알 수 없는가. 결론이 바뀐다면 그 이유를 설명할 수 있는가.
OXMV Loop와 Evidence Ledger가 지향하는 것도 바로 이러한 신뢰이다.
완벽하다고 선언하는 신뢰가 아니라, 확인한 것과 확인하지 못한 것을 구분하는 신뢰이다. 오류가 없다고 주장하는 신뢰가 아니라, 오류를 발견하고 수정한 과정을 보여주는 신뢰이다. 인간에게 결정을 강요하는 신뢰가 아니라, 인간이 더 책임 있게 판단하도록 돕는 신뢰이다.
생성형 AI의 환각 문제는 하나의 기술적 결함만을 의미하지 않는다. 그것은 지식과 판단, 권위와 책임이 어떻게 연결되어야 하는지를 묻는 문명적 문제이다.
AI가 더 많은 지식을 생성할수록 인간은 더 많은 검증을 요구해야 한다. AI가 더 유창해질수록 우리는 그 문장 뒤의 근거를 더 세심하게 살펴야 한다. AI가 전문가의 언어를 닮아갈수록 전문가의 책임이 무엇인지 더욱 분명하게 정의해야 한다.
AI의 첫 번째 답은 결론이 아니다. 검증이 시작되는 지점이다.
다음 회에서는 흩어진 지식과 근거를 하나의 구조로 연결하는 방법을 살펴보려 한다. 법률, 건설, 금융, 의료처럼 서로 다른 전문 분야의 지식을 AI는 어떻게 개체와 속성, 관계와 규칙으로 이해할 수 있는가.
제3회 | 「AI에게 지식의 지도를 주다 — 온톨로지는 전문지식을 어떻게 연결하는가」에서 그 보이지 않는 지식의 설계도를 펼쳐보고자 한다.
필자 소개
만리풍취 정연태는 전문지식 AI 기획·설계자이자 GPT 개발 전문가이다. 미국 스티븐스공과대학교 대학원에서 수학한 뒤 정보통신기업과 공공기관, 기업경영 및 산업정책 현장에서 활동해 왔다. 현재 재단법인 건설산업정보원 원장으로 재직하며, 건설·법률·세무·금융·경영·의료·과학·역사·철학 등 54개의 전문지식 GPT를 개발했다. 온톨로지와 XAI, OXMV Loop 및 Evidence Ledger를 결합해 AI의 오류를 줄이고 인간의 책임 있는 판단을 지원하는 검증형 전문지식 AI 체계를 연구하고 있다.
