오픈AI, 첨단 AI 국제표준 마련 촉구…기업의 자율적 속도 조절에서 정부 간 안전장치로 논의 확대
인공지능(AI)의 발전 속도가 지나치게 빠르다는 경고가 실리콘밸리에서 확산되고 있지만 시장 경쟁은 반대 방향으로 움직이고 있다. 첨단 AI 개발 속도를 조절하기 위한 국제적 공조를 주장해 온 앤트로픽(Anthropic)은 오픈AI(OpenAI)를 따라잡기 위해 또 다른 모델 출시를 검토하고 있다. AI 안전을 핵심 가치로 내세운 기업조차 경쟁사가 더 강력한 모델을 계속 내놓는 상황에서는 개발 속도를 늦추기 어렵다는 자율규제의 한계가 드러나고 있다.
이러한 긴장은 이제 기술기업을 넘어 국가 간 문제로 확대됐다. 미국은 뉴욕에서 열린 미·중 고위급 회담에서 국가안보에 영향을 미칠 수 있는 중대한 AI 사고가 발생할 경우 양국이 서로 통보하는 체계를 만들자고 중국에 제안했다. 기업의 자발적인 안전 약속을 중심으로 진행돼 온 AI 안전 논의가 정부 간 소통과 위험관리 체계로 이동하기 시작한 것이다.
아직 초기 단계다. 중국은 미국이 제안한 통보체계의 수용 여부를 공개적으로 밝히지 않았으며, 뉴욕 회담에서도 포괄적인 AI 합의는 나오지 않았다. 첨단 AI 반도체와 반도체 제조장비에 대한 미국의 수출통제 역시 이번 논의에서 제외됐다.
중요한 것은 그다음이다. 이제 핵심 질문은 AI 기업과 정부가 위험을 인식하고 있는지가 아니다. 계속 속도를 높여야 할 강력한 경쟁 압력을 받는 기업과 국가들이 기업과 국경을 넘어설 수 있는 AI 위험에 대해 최소한의 공동 규칙을 만들 수 있는지가 새로운 과제로 떠오르고 있다.
기업의 속도 조절과 시장 경쟁이 충돌한다
앤트로픽 최고경영자 다리오 아모데이(Dario Amodei)는 최근 첨단 AI의 발전 속도를 조절하기 위한 단계적 체계를 제안했다. 아모데이는 “첫 번째 단계는 앤트로픽이 독자적으로 약속하는 것이다. 두 번째 단계에는 업계 전체의 공조가 필요하고, 세 번째 단계에는 국제적인 공조가 필요하다”고 말했다. 그의 제안은 현재 AI 안전 논쟁이 안고 있는 핵심 문제를 보여준다. 기업이 자체적으로 안전장치를 강화할 수는 있지만 경쟁사들이 서로 다른 기준으로 움직이면 한 기업의 독자적인 속도 조절을 지속하기 어렵다.
앤트로픽은 오픈AI가 GPT-6 아스트라(Astra)를 공개한 이후 새로운 모델 출시를 검토하고 있다. 출시 여부와 일정은 아직 확정되지 않았다. 그러나 안전을 위해 개발 속도를 조절해야 한다고 주장해 온 기업조차 시장 경쟁이 심화되면 다시 개발 속도를 높여야 하는 상황에 놓일 수 있음을 보여준다.
한 기업이 개발 속도를 늦추는 동안 경쟁사가 더 강력한 모델을 계속 출시하면 고객과 개발자, 투자자, 인재가 경쟁사로 이동할 수 있다. 첨단 AI 시장에서는 모델 성능이 데이터센터 투자와 자금조달 능력, 기업가치에도 영향을 미친다. 경쟁 기업들이 비슷한 안전기준을 동시에 적용하지 않는다면 먼저 속도를 늦춘 기업이 시장에서 불리해질 수 있다.
같은 딜레마는 국가 차원에서도 나타난다. 트럼프 행정부는 미국의 AI 주도권을 유지하는 데 정책의 무게를 두면서 국내 AI 개발을 늦출 수 있는 광범위한 규제에는 신중한 입장을 보여왔다. 백악관에서 AI와 암호화폐 정책을 이끌어 온 데이비드 색스(David Sacks)는 미국의 AI 행동계획 발표 당시 이러한 방향을 분명히 했다.
색스는 “미국은 AI 경쟁에서 승리해야 한다”고 말했다.
중국과의 경쟁은 미국이 독자적으로 속도를 늦추기 더욱 어렵게 만든다. 워싱턴은 AI를 경제 경쟁력과 산업 기반, 국가안보에 영향을 미치는 전략기술로 보고 있다. AI 위험을 줄이기 위한 정책과 미국 기업의 기술 우위를 유지하기 위한 산업정책이 동시에 추진되는 이유다.
기업은 경쟁사 때문에 속도를 늦추기 어렵고, 정부 역시 경쟁국이 개발을 계속하는 상황에서 독자적으로 속도를 낮추기 어렵다. 뉴욕에서 열린 미·중 회담이 중요한 이유도 여기에 있다.
미·중 AI 안전 논의, 사고 통보체계 제안으로 구체화
스콧 베선트(Scott Bessent) 미국 재무장관과 허리펑(He Lifeng) 중국 부총리는 뉴욕에서 AI와 무역 문제를 논의했다. 이번 회담은 도널드 트럼프(Donald Trump) 미국 대통령과 시진핑(Xi Jinping) 중국 국가주석의 정상회담을 앞두고 진행됐다.
미국은 국가안보에 영향을 미칠 정도의 중대한 AI 사고가 발생할 경우 양국이 서로 알릴 수 있는 통보체계를 포함한 양자 AI 대화를 중국에 제안했다. 베선트 장관은 세계 양대 AI 강국 사이에서 투명성을 높이는 것이 중요하다고 강조했다. 그는 “세계 1위와 2위 AI 강국 사이의 불투명성을 줄이고 더 높은 투명성으로 나아가는 것은 매우 중요하다”고 말했다.
미국의 제안은 국제적인 AI 안전협정과는 거리가 있다. 양국에 첨단 모델 개발 중단을 요구하거나 상대국에 민감한 기술에 대한 접근권을 제공하는 내용도 아니다. 출발점은 훨씬 현실적인 문제다. 강력한 AI 시스템에서 양국 모두에 영향을 미칠 수 있는 위험이 발생했을 때 어떻게 대응할 것인가다.
위험 영역에는 통제를 벗어난 AI 에이전트와 비국가 행위자의 악용, 생물학을 비롯한 국가안보 위협 등이 포함될 수 있다. 양국은 향후 논의를 통해 실제 상황에서 어떤 소통 절차를 적용할 수 있을지 검토할 것으로 예상된다.
여기에서 중요한 구분이 필요하다. 미국은 AI 안전대화의 대가로 중국의 첨단 컴퓨팅 기술 접근 제한을 완화하겠다고 제안하지 않았다. 미국 당국자들도 첨단 AI 반도체와 반도체 제조장비 수출통제가 이번 통보체계 논의에 포함되지 않았다고 밝혔다.
미국은 중국을 상대로 두 가지 AI 정책을 동시에 추진하기 시작한 셈이다. 첨단 기술에서는 전략적 경쟁을 지속하면서 어느 한쪽이 독자적으로 통제하기 어려운 위험에서는 제한적인 협력 가능성을 모색하는 방식이다. 이러한 분리는 앞으로 미·중 AI 관계를 결정하는 중요한 특징이 될 수 있다.
오픈AI, AI 안전 논의를 국제표준으로 확대
또 다른 변화도 같은 방향을 가리키고 있다. 오픈AI는 미국이 첨단 AI의 국제 기술표준 수립을 주도해야 한다고 촉구했다. 여기에는 자율성이 높아지는 AI 시스템과 스스로 능력을 개선할 수 있는 모델도 포함된다. 국가와 AI 연구소가 첨단 시스템을 동일한 기준으로 평가할 수 있도록 성능 측정과 안전성 평가, 사고 보고 절차를 표준화해야 한다는 것이다.
이는 모든 AI 기업과 국가에 동일한 개발 속도를 요구하는 방식과는 다른 접근이다. 각국이 AI 개발 속도를 일률적으로 낮추기보다 어떤 능력을 위험한 것으로 판단할지, 어떤 사고를 반드시 보고해야 할지, 어느 수준에서 추가 안전장치를 적용할지를 공동으로 정하는 방식이다.
이러한 접근은 기업의 자율적인 안전 약속이 가진 한계도 보완할 수 있다. 기업마다 서로 다른 평가방식을 사용하고 공개하는 정보도 다르다면 안전 수준을 객관적으로 비교하기 어렵다. 공통된 기술표준은 기업들이 동일한 개발 일정을 따르도록 강제하지 않으면서도 외부 검증의 실효성을 높일 수 있다.
경쟁 자체를 없애는 방식은 아니다. 경쟁이 이루어지는 최소한의 규칙을 만드는 것이다. 미·중 AI 대화도 이 지점에서 중요해진다. 워싱턴과 베이징이 제한적인 사고 통보체계에라도 합의한다면 광범위한 기술패권 경쟁을 계속하면서 특정 AI 위험에서는 협력할 수 있는지를 시험하는 첫 사례가 될 수 있다.
첫 번째 안전장치는 감속보다 소통이 될 수 있다
AI 개발 속도를 늦춰야 한다는 주장으로 시작된 논쟁의 성격이 달라지고 있다. 첨단 AI 기업들이 같은 속도로 개발하도록 요구하는 세계적인 합의는 현실적으로 쉽지 않다. 기업에는 경쟁사보다 빨리 움직여야 할 상업적 이유가 있고, 정부에는 경쟁국이 기술적 우위를 확보하는 것을 막아야 할 전략적 이유가 있다.
따라서 처음 등장할 수 있는 국제적인 안전장치는 개발 속도 제한보다 범위가 좁을 가능성이 있다. 공통된 안전성 측정기준과 독립적인 평가, 중대한 사고 보고, 정부 간 직접 소통체계가 현실적인 출발점이 될 수 있다.
범위가 좁다고 중요성이 작은 것은 아니다. 핵무기를 보유한 국가들이 직접 소통체계를 만든 것은 지정학적 경쟁이 사라졌기 때문이 아니다. 특정한 사고와 오판이 당사국 모두에게 치명적인 결과를 가져올 수 있기 때문이었다. 첨단 AI도 치열한 경쟁을 계속하면서 사고와 오판, 통제되지 않은 위험의 확산을 막기 위한 최소 규칙을 만들 수 있는가라는 비슷한 거버넌스 문제를 제기하기 시작했다.
물론 핵무기와 AI는 다르다. AI는 상당 부분 민간기업이 개발하고 기술 변화 속도가 훨씬 빠르다. 무엇을 ‘중대한 AI 사고’로 규정할 것인지에 대해서도 국가 간 공통된 기준이 아직 없다. 이러한 차이 때문에 공통 기술표준과 사고 보고 기준, 독립적인 검증체계가 더욱 중요해진다.
다음 시험대는 미국의 제안이 외교적 수사를 넘어 실제 제도로 발전하는지 여부다. 중국은 아직 미국의 사고 통보체계를 공개적으로 수용하지 않았다. 트럼프-시진핑 정상회담에서는 이 제안이 정상 차원의 정치적 지지를 얻을 수 있는지가 주목된다. 후속 협상에서는 어떤 AI 사고를 통보 대상으로 정할 것인지, 국가안보 정보와 기업의 영업비밀을 노출하지 않으면서 어떻게 정보를 교환할 것인지가 핵심 과제가 될 전망이다.
앤트로픽의 새 모델 검토는 기업의 자율적 속도 조절이 가진 한계를 보여줬다. 뉴욕 미·중 회담에서는 이를 보완할 수 있는 또 다른 접근이 처음 구체적인 형태로 등장했다. AI 기업은 위험을 알고 있고 정부도 이를 인식하고 있다. 그러나 경쟁자가 계속 속도를 높이는 상황에서는 기업과 국가 모두 먼저 속도를 늦추기 어렵다.
따라서 현실적인 해법은 전 세계가 동시에 AI 개발을 늦추는 것보다 더 실용적인 형태에서 시작될 가능성이 있다. 경쟁을 멈출 수 없다면 먼저 위험을 어떻게 측정할 것인지, 어떤 사고를 반드시 알릴 것인지, 문제가 발생했을 때 어떻게 서로 소통할 것인지부터 합의해야 한다.
이것이 첨단 AI 시대의 첫 번째 실질적인 안전장치가 될 수 있다.
