AI 보안의 중심, 모델 답변 검증에서 ‘행동·권한 통제’로 이동…엔비디아, AI 인프라 경쟁을 보안 영역까지 확대
엔비디아(NVIDIA)가 AI 에이전트의 행동을 소프트웨어와 하드웨어 양쪽에서 감시하고 통제하는 새로운 보안체계를 내놓으면서 AI 산업의 경쟁 영역이 다시 넓어지고 있다. 3일 관련 업계에 따르면, 지금까지 AI 안전 논의가 모델이 어떤 답변을 생성하는지에 집중했다면 이제는 스스로 파일을 열고 코드를 실행하며 외부 시스템과 연결되는 AI 에이전트에게 어디까지 권한을 줄 것인지가 새로운 문제로 떠오르고 있다.
엔비디아가 지난달 28일 공개한 ‘오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)’은 AI 에이전트가 정해진 권한을 벗어나 행동하지 못하도록 소프트웨어와 하드웨어에서 이중으로 통제하는 구조다. 핵심은 오픈소스 보안 실행환경인 ‘오픈셸(OpenShell)’과 별도의 하드웨어 감시체계인 ‘센트리(Sentry)’다.
오픈셸은 AI 에이전트를 격리된 실행공간에서 작동시키고 접근할 수 있는 파일과 네트워크, 데이터, 응용프로그램 인터페이스(API), 서비스 등을 정책에 따라 제한한다. 기본적으로 접근을 차단한 뒤 필요한 권한만 부여하는 제로트러스트 방식이다. 특히 보안정책을 에이전트 내부가 아니라 외부에서 집행하도록 설계해 에이전트의 판단이나 프롬프트만으로 통제를 우회하기 어렵게 했다.
센트리는 두 번째 방어선이다. 엔비디아의 블루필드-4 데이터처리장치(DPU)에서 에이전트의 행동을 독립적으로 감시하고, 정해진 경계를 벗어나려는 움직임이 포착되면 해당 에이전트를 밀리초 단위로 격리하고 중단하도록 설계됐다. 엔비디아는 이를 모델과 소프트웨어, 중앙처리장치(CPU), 네트워크와 데이터 접근까지 연결해 관리하는 ‘풀스택’ 안전체계로 설명한다.
왜 지금 ‘에이전트 안전장치’인가
생성형 AI와 AI 에이전트의 가장 큰 차이는 행동 능력에 있다. 챗봇이 잘못된 답변을 내놓으면 사람이 확인하고 사용하지 않을 수 있지만, 자율형 AI 에이전트가 기업 시스템 안에서 이메일을 보내고 파일을 수정하며 코드를 실행하고 외부 서비스에 접속하기 시작하면 잘못된 판단이 곧바로 실제 행동으로 이어질 수 있다.
최근 AI 업계에서 발생한 보안사고도 이런 위험을 부각시켰다. 로이터에 따르면 주요 AI 기업들은 에이전트가 예상하지 못한 방식으로 외부 시스템에 접근하거나 보안장치를 우회하는 문제를 조사해왔다. 엔비디아는 이번 플랫폼이 올해 발생한 허깅페이스(Hugging Face) 관련 침해사고와 같은 상황에서 에이전트의 행동을 차단할 수 있었을 것이라고 주장했다.
엔비디아의 저스틴 보이타노(Justin Boitano) 엔터프라이즈 컴퓨팅 부문 부사장 겸 총괄은 로이터에 “우리가 현재 알고 있는 내용을 토대로 보면 이 새로운 보안 플랫폼이 초기 모델 평가 단계에서 사용됐다면 침해를 막을 수 있었을 것”이라는 취지로 설명했다.
젠슨 황(Jensen Huang) 엔비디아 최고경영자도 이번 플랫폼을 공개하면서 “AI의 엄청난 잠재력은 AI 안전 문제를 해결할 때 비로소 실현될 수 있다”며 “안전과 보안에는 풀스택 엔지니어링이 필요하다”고 강조했다.
엔비디아가 제시한 방향은 AI가 스스로 규칙을 지킬 것이라고 기대하는 대신 에이전트가 임의로 바꿀 수 없는 외부 시스템에 안전장치를 두는 것이다. 모델의 판단과 별개로 실제 행동의 범위를 시스템 차원에서 제한하겠다는 접근이다.
전문가 “보안과 기능의 균형, 실제 적용으로 검증해야”
그러나 에이전트의 행동을 소프트웨어와 하드웨어로 제한한다고 해서 AI 안전 문제가 모두 해결되는 것은 아니다. 위스콘신대 컴퓨터과학 교수인 소메시 자(Somesh Jha)는 엔비디아의 접근법이 가능성을 갖고 있지만 지나치게 강한 통제가 에이전트가 정상적으로 수행해야 할 유용한 행동까지 차단할 수 있다고 지적했다.
자 교수는 AP와의 인터뷰에서 보안과 기능 사이에서 적절한 균형을 만들 수 있는지는 “사례 연구를 통해서만 답할 수 있다”고 말했다. 결국 실제 기업 환경에서 에이전트가 필요한 업무를 수행하면서도 위험한 행동을 얼마나 정확하게 차단할 수 있는지가 기술의 성패를 가를 수 있다는 의미다.
에이전트 보안에는 본질적인 딜레마가 있다. 권한을 지나치게 제한하면 에이전트를 사용하는 효과가 줄어들고, 반대로 너무 많은 권한을 부여하면 보안 위험이 커진다. 따라서 중요한 것은 AI가 얼마나 똑똑한지만이 아니라 어떤 데이터와 도구에 접근할 수 있는지, 어느 단계에서 사람의 승인을 받아야 하는지, 문제가 생겼을 때 즉시 중단할 수 있는지를 함께 설계하는 것이다.
엔비디아가 노리는 것은 ‘AI 안전 인프라’
이번 발표에서 주목할 또 하나의 지점은 엔비디아의 사업 영역이 다시 확장되고 있다는 점이다. 엔비디아는 그래픽처리장치(GPU)를 넘어 중앙처리장치, 네트워킹, AI 소프트웨어와 기업용 AI 플랫폼으로 사업을 넓혀왔다. 오픈 에이전트 안전 플랫폼은 여기에 AI 에이전트의 권한과 행동을 관리하는 ‘통제 계층’을 추가하려는 시도로 볼 수 있다.
엔비디아에 따르면 앤트로픽, 마이크로소프트, 시스코, 크라우드스트라이크, JP모건체이스, 팔란티어, 팰로앨토네트웍스, 세일즈포스, SAP, 서비스나우, 스케일AI 등 100개 이상의 기업과 기관이 관련 기술 개발과 적용에 참여하고 있다. 오픈셸은 엔비디아 하드웨어에만 묶이지 않고 암(Arm)과 인텔 기반 컴퓨팅 환경에서도 확장할 수 있도록 오픈소스로 제공된다.
기업이 앞으로 수백·수천 개의 AI 에이전트를 운영하게 된다면 누가 에이전트를 만드는지만큼 누가 그 권한을 통제하고 행동기록을 남기며 필요할 때 즉시 차단할 수 있는지가 중요해진다. 에이전트가 늘어날수록 이를 관리하는 보안체계 역시 하나의 독립적인 인프라 시장으로 성장할 가능성이 있다.
엔비디아는 GPU로 AI의 계산을 지원하는 데서 한 걸음 더 나아가 에이전트가 실제로 행동할 수 있는 경계까지 인프라 계층에서 관리하려 하고 있다. AI 에이전트의 확산이 본격화될수록 이 통제 계층을 누가 장악하느냐는 새로운 플랫폼 경쟁으로 이어질 수 있다.
AI 시대, ‘무엇을 아는가’보다 ‘무엇을 할 수 있는가’
이번 발표가 보내는 신호는 분명하다. 생성형 AI 시대에는 모델이 무엇을 알고 어떤 답을 내놓는지가 중요했다면, 에이전트 시대에는 AI가 어떤 파일을 열고 어떤 시스템에 접속하며 어떤 도구를 실행할 수 있는지가 더 중요한 보안 문제가 되고 있다.
AI의 능력이 커질수록 보안을 AI 자체의 ‘좋은 판단’에만 맡길 수도 없다. 에이전트가 넘어갈 수 없는 경계를 시스템 밖에서 만들고 행동을 기록하며, 문제가 발생하면 사람이 즉시 개입할 수 있는 구조가 필요하다.
GPU 경쟁이 AI를 얼마나 빠르게 계산할 수 있는지를 결정했다면 에이전트 시대의 다음 경쟁은 AI에게 어디까지 행동을 허용하고 누가 그 권한을 통제할 것인가로 옮겨가고 있다.
엔비디아가 이번에 내놓은 것은 단순한 보안 제품이 아니다. AI가 ‘말하는 기술’에서 ‘행동하는 기술’로 넘어가는 순간, 그 행동의 경계를 관리하는 새로운 인프라 시장을 선점하려는 움직임이다.
