미 국방부가 일론 머스크의 챗봇 그록(Grok)을 펜타곤 네트워크에 올리는 흐름은 ‘새 툴 도입’이 아니다. 특히 비기밀뿐 아니라 기밀 환경까지 거론되면서, 논쟁의 무게중심은 성능이나 편의가 아니라 통제와 책임으로 옮겨간다. 지금 필요한 질문은 “AI를 쓸 것인가”가 아니라 “AI가 말을 할 때, 조직은 어떤 속도로 믿어버리는가”다.
사이버 위협은 분명 커진다. AI 접점이 하나 늘 때마다 공격자는 프롬프트 인젝션, 공급망 취약점, 계정 탈취 같은 경로를 추가로 탐색한다. 하지만 방위 조직에서 더 위험한 건 외부 침입이 아니라 내부 확신의 확산이다. 틀린 답이 ‘권위의 문장’으로 유통되면, 검증은 뒤로 밀리고 실행이 앞선다.
이 문제는 규모에서 더 선명해진다. 미 국방부는 주요 AI 기업들과 업체당 최대 2억달러 한도 계약을 쌓아, 4개사를 합치면 최대 8억달러 수준의 상업 AI 조달 파이프라인을 형성했다. 파일럿이라면 한 팀이 써보고 끝나지만, 이 규모는 문서 작성·요약·분류·우선순위화 같은 기본 업무언어를 AI가 점유하게 만든다. 그 순간부터 오류는 ‘한 번의 실수’가 아니라 ‘업무 습관’이 된다.
LLM의 위험은 로봇이 반란을 일으키는게 아니다. 더 현실적인 위험은 AI가 모르는 것을 “모른다”고 말하지 못하고, 불완전한 정보로도 그럴듯한 결론을 만들어낸다는 점이다.
사이버뉴스 유르기타 라피에니테 편집장은, "미 국방부가 일론 머스크의 그로카이(GrokAI) 챗봇을 도입하고 있는데, 이는 심각한 위험을 초래한다. 그 위험 중 하나는 로봇의 반란이 아니라, 인간이 그로카이의 결함 있는 조언을 맹목적으로 따라 재앙에 빠지는 것이다"라고 지적한다.
민간에서는 웃고 넘길 오답이 국방에서는 우선순위와 자원 배분을 바꾼다.
기밀 환경은 ‘유출’보다 ‘오판’에 취약하다. 기밀망 안에서 나온 문장은 그 자체로 신뢰의 후광을 얻는다. 사용자에게는 “기밀 데이터 기반 분석”처럼 보이지만, 실제로는 질문의 프레이밍과 누락된 맥락이 결론을 왜곡할 수 있다. 결과적으로 잘못된 확신이 보고서 1장과 브리핑 5줄로 압축돼 상향 보고되는 순간, 사실 확인보다 빨라진 결론이 제도화된다.
멀티벤더 전략도 만능이 아니다. 공급자 의존을 분산하는 대신, 여러 부서가 비슷한 방식으로 AI 요약을 업무에 끼워 넣으면 조직 전체가 ‘기계가 만든 중간결론’을 공용어로 사용하게 된다. 한 모델의 오류가 한 문서에서 끝나지 않고, 메모·브리핑·결정의 체인을 타며 원인을 추적하기 어려운 형태로 번진다. 사고는 대형 폭발이 아니라 “대충 맞는 것 같은” 순간들이 쌓이며 기준선을 낮추는 방식으로 온다.
해법은 더 똑똑한 모델을 찾는 것이 아니라, 의심을 강제하는 설계다.
첫째, AI가 만든 주장에는 문서·시간·근거 경로를 붙이고, 출처를 제시 못 하면 결론이 아니라 불확실성을 기본값으로 해야 한다. 둘째, 고위험 영역에서는 AI가 답을 쓰기보다 검증 체크리스트를 만드는 역할로 제한하는 편이 안전하다. 예컨대 3개 가설과 5개 확인 항목까지만 자동 생성하게 하고 결론 문장은 사람이 책임지는 식이다. 셋째, 사용 로그는 처벌이 아니라 학습을 위한 데이터여야 한다. 사용자가 AI 사용을 숨기는 순간 거버넌스는 무너진다. 넷째, 레드팀은 모델만 공격할 게 아니라, AI 출력물이 어디에서 의사결정으로 전환되는지(누가 승인하고, 어떤 마감 압력이 검증을 누르는지) 업무 흐름 자체를 시험해야 한다.
펜타곤의 그록 도입이 던지는 본질적 질문은 하나다. AI가 ‘권위의 문장’으로 조직을 움직이기 시작할 때, 인간은 검증의 규율을 끝까지 지킬 수 있는가.
