연재 순서
글 | 만리풍취 정연태
연재를 시작하며
생성형 AI가 전문지식과 인간의 판단에 깊이 들어오면서, 정확성과 검증 가능성은 AI 활용의 핵심 과제가 됐다. 이번 연재는 AI의 오류를 줄이고 지식과 근거를 체계적으로 연결하기 위한 검증 구조를 살펴본다.
생성형 AI 환각 검증 기술을 개발한 정연태 건설산업정보원 원장
틀린 답보다 더 위험한 ‘그럴듯한 답’
생성형 AI를 처음 사용하는 사람은 대개 그 유창함에 놀란다. 질문의 의도를 빠르게 파악하고, 복잡한 내용을 논리적으로 정리하며, 전문 용어를 섞어 상당히 완성도 높은 문장을 만들어낸다. 보고서, 계약서, 사업계획서, 법률 검토서처럼 보이는 문서도 짧은 시간 안에 작성한다.
문제는 문장의 완성도와 사실의 정확성이 반드시 일치하지 않는다는 데 있다.
AI가 제시한 법률 조항이 실제 법령에 존재하지 않을 수 있다. 논문의 제목과 저자는 맞지만 연구 결과가 다르게 요약될 수 있다. 서로 다른 연도의 통계가 같은 시점의 자료처럼 결합되기도 하고, 과거에는 유효했지만 현재는 폐지되거나 개정된 제도가 현행 규정처럼 소개되기도 한다.
더욱 어려운 점은 이러한 오류가 어색한 문장으로 나타나지 않는다는 사실이다. 잘못된 내용도 매끄러운 문체와 정돈된 논리 속에 들어가면 믿을 만한 정보처럼 보인다.
인간은 흔히 자신감 있는 말투를 신뢰의 신호로 받아들인다. 출처처럼 보이는 기관명, 구체적인 숫자, 전문 용어와 조문 번호가 함께 제시되면 그 신뢰는 더욱 커진다. 그러나 AI의 자신감 있는 표현은 실제 확신이나 검증의 결과가 아니다. 그것은 자연스러운 문장을 생성하는 과정에서 나타나는 언어적 형식일 수 있다.
생성형 AI의 오류를 이해하려면 먼저 한 가지 오해에서 벗어나야 한다.
AI가 사람처럼 사실을 알고 있다가 일부러 거짓말하는 것은 아니다. 생성형 AI는 입력된 질문과 주어진 맥락을 바탕으로 다음에 올 가능성이 높은 표현을 이어가며 답을 구성한다. 사실을 확인하는 과정과 문장을 생성하는 과정이 자동으로 동일한 것은 아니다.
그래서 AI는 진실을 말하는 기계라기보다, 문맥에 적합한 답을 생성하는 기계에 가깝다. 사실 확인 장치가 충분히 결합되지 않으면 ‘가능성이 높은 문장’이 ‘근거가 확인된 문장’처럼 출력될 수 있다.
바로 이 틈에서 이른바 AI 환각이 발생한다.
AI는 왜 모른다고 말하지 못하는가
인간 전문가도 모든 것을 알지는 못한다. 그러나 책임 있는 전문가는 자신이 아는 범위와 모르는 범위를 구분하려 한다. 자료가 부족하면 추가 자료를 요구하고, 법령의 적용 여부가 불분명하면 단정적인 결론을 피한다.
생성형 AI는 기본적으로 사용자의 질문에 도움이 되는 답을 만들도록 설계되어 있다. 이 성향은 대부분의 일상적인 질문에서는 장점으로 작용한다. 하지만 정보가 부족하거나 질문 속 전제가 잘못된 경우에는 위험해질 수 있다.
예를 들어 사용자가 이렇게 질문한다고 해보자.
“2025년 대법원이 선고한 건설하도급 손해배상 사건의 판결 취지를 정리해줘.”
사건번호나 당사자, 선고일이 제시되지 않았다. 실제로 그런 판결이 존재하는지도 확인되지 않았다. 그런데 질문의 문장은 그 판결이 존재한다는 전제를 이미 포함하고 있다.
검증 장치가 약한 AI는 사용자의 전제를 사실로 받아들인 뒤, 건설하도급 분쟁에서 일반적으로 등장할 법한 법리와 판결 취지를 조합해 답할 수 있다. 그 결과 실제 판결을 설명하는 것처럼 보이지만, 존재하지 않거나 전혀 다른 사건을 바탕으로 한 문장이 만들어질 수 있다.
이는 AI가 거짓말을 하기로 결정했기 때문이 아니다. 질문에 포함된 빈칸을 언어적으로 자연스럽게 채우려 했기 때문이다.
전문 분야에서 특히 위험한 오류는 대체로 다음과 같은 조건에서 발생한다.
첫째, 질문 자체에 확인되지 않은 전제가 숨어 있을 때이다.
둘째, 여러 법령·문서·통계의 적용 시점이 서로 다를 때이다.
셋째, 원문은 비슷하지만 적용 조건과 예외가 다른 경우이다.
넷째, 특정 결론을 뒷받침할 직접 근거가 없는데 주변 정보만으로 결론을 추론할 때이다.
다섯째, 최신 정보에 접근하지 못했거나 자료의 유효기간을 확인하지 않았을 때이다.
여섯째, 사용자가 요구한 범위와 AI가 실제로 검토한 범위가 다를 때이다.
이러한 오류는 단순히 “한 번 더 생각해봐”라고 요청한다고 완전히 해결되지 않는다. AI가 동일한 전제와 동일한 자료를 사용해 다시 답하면, 표현만 바뀐 같은 오류를 반복할 수 있기 때문이다.
검증에는 재질문 이상의 구조가 필요하다.
세 가지 질문이 보여주는 검증의 차이
전문지식 AI의 성능은 얼마나 길고 자세하게 답하는가보다, 어떤 질문 앞에서 멈추고 무엇을 확인하는가를 통해 드러난다.
다음 세 가지 질문을 생각해볼 수 있다.
첫 번째 질문은 “이 계약서에 따르면 상대방이 계약을 위반했으니 즉시 소송을 제기하면 반드시 승소하는가?”이다.
책임 있는 AI라면 ‘반드시 승소한다’고 단정해서는 안 된다. 계약서 문구만으로는 실제 이행 과정, 당사자의 귀책사유, 손해 발생, 통지 여부, 증거 상태와 상대방의 항변을 모두 판단할 수 없기 때문이다. AI가 해야 할 일은 승패를 선언하는 것이 아니라 쟁점과 필요한 증거, 추가로 확인해야 할 사실을 정리하는 것이다.
두 번째 질문은 “이 비용은 세법상 전액 손금으로 인정되는가?”이다.
비용의 명칭만으로 결론을 내릴 수 없다. 거래의 실질, 사업 관련성, 증빙, 귀속 시기, 특수관계인 여부, 해당 사업자의 법적 형태와 적용 규정을 확인해야 한다. 같은 비용이라도 사실관계와 시점에 따라 세무상 처리가 달라질 수 있다.
세 번째 질문은 “이 기업은 향후 3년 안에 매출이 두 배가 될 것이므로 투자해도 되는가?”이다.
AI는 시장자료와 기업자료를 분석하고 성장 시나리오를 제시할 수 있다. 그러나 불확실한 매출 전망을 확정된 미래처럼 표현하거나 투자 여부를 대신 결정해서는 안 된다. 가정이 달라질 때 결과가 어떻게 변하는지 보여주고, 위험요인과 반대 시나리오를 함께 제시해야 한다.
이 세 질문의 분야는 서로 다르지만 공통점이 있다. 답을 내리기 전에 사실관계, 적용 규칙, 근거, 예외, 반대 가능성과 판단의 한계를 점검해야 한다는 점이다.
좋은 전문지식 AI는 답이 많은 AI가 아니라, 답을 내릴 수 있는 조건을 아는 AI이다.
‘답변 생성’과 ‘검증 완료’는 같은 말이 아니다
AI가 답을 작성했다는 사실은 검증이 완료되었다는 뜻이 아니다. 출처를 몇 개 제시했다는 사실도 그 출처가 주장을 직접 뒷받침한다는 뜻은 아니다.
여기에는 반드시 구분해야 할 몇 가지 단계가 있다.
어떤 검증이 필요하다는 것을 인식한 것과 실제로 그 검증을 수행한 것은 다르다. 검증 도구를 사용할 수 있는 것과 실제로 사용한 것도 다르다. 문서를 열어본 것과 필요한 부분을 확인한 것 역시 같지 않다.
또한 일부 범위를 검토한 뒤 전체가 검증되었다고 말해서는 안 된다. 검토한 범위에서 오류가 발견되지 않았다는 것과 그 자료에 오류가 전혀 없다는 것도 다른 판단이다.
전문지식 AI가 신뢰를 얻으려면 이 차이를 숨기지 않아야 한다.
무엇을 요청받았는가. 실제로 무엇을 검토했는가. 어느 부분까지 확인되었는가. 어떤 검증은 수행하지 못했는가. 남은 불확실성이 최종 결론에 어떤 영향을 미치는가.
이러한 상태가 분명하게 구분되어야 ‘검증했다’는 말이 실질적인 의미를 갖는다.
다음 회 | OXMV와 Evidence Ledger가 필요한 이유
필자 소개
만리풍취 정연태는 전문지식 AI 기획·설계자이자 GPT 개발 전문가이다. 미국 스티븐스공과대학교 대학원에서 수학한 뒤 정보통신기업과 공공기관, 기업경영 및 산업정책 현장에서 활동해 왔다. 현재 재단법인 건설산업정보원 원장으로 재직하며, 건설·법률·세무·금융·경영·의료·과학·역사·철학 등 54개의 전문지식 GPT를 개발했다. 온톨로지와 XAI, OXMV Loop 및 Evidence Ledger를 결합해 AI의 오류를 줄이고 인간의 책임 있는 판단을 지원하는 검증형 전문지식 AI 체계를 연구하고 있다.
