샌프란시스코—Causal Dynamics Lab은 5월 5일 최신 연구를 통해 현재 AI 코딩 에이전트가 구조적 한계를 안고 있다고 밝혔다. AI 코딩 에이전트는 코드를 생성할 수 있지만, 해당 변경이 실제 운영 시스템에서 어떤 결과를 낳을지 이해하는 데 필요한 맥락은 충분히 갖추지 못하고 있다는 설명이다.
회사에 따르면 AI가 생성한 코드 변경은 리뷰 단계에서 정상적으로 보이고 기존 검증 절차를 통과할 수 있지만, 실제 배포 이후에는 의존성, 정책 제약, 런타임 상태, 인프라 구조와 맞물리며 예기치 않은 장애를 일으킬 수 있다. Causal Dynamics Lab은 이 문제가 단순히 모델 성능의 문제가 아니라, 에이전트가 자신이 변경하는 시스템을 이해할 수 있도록 돕는 시스템 수준의 표현이 부족하기 때문이라고 설명했다.
이번 연구는 소프트웨어, 인프라, 소유권, 제약 조건, 런타임 동작이 어떻게 상호작용하는지를 보여주는 6계층 인과 온톨로지와 코드 인과 그래프를 제시했다. Causal Dynamics Lab의 제품인 Cielara Code는 이 모델을 기존 AI 코딩 에이전트를 위한 검증 레이어로 적용해, 배포 전에 제안된 변경 사항을 검증하는 것을 목표로 한다.
Causal Dynamics Lab은 수천 개의 세션에서 AI 코딩 에이전트의 활동을 계측한 결과, 대부분의 작업이 코드 수정이 아니라 탐색에 사용됐다고 밝혔다. 파일 읽기는 전체 작업의 56.8%, 그렙(grep) 검색은 24.2%를 차지했으며, 실제 수정 작업은 1% 미만이었다. 이는 에이전트가 패치를 작성하지 못해서가 아니라, 올바른 파일을 찾고 코드베이스의 구조를 이해하는 데 어려움을 겪고 있음을 보여준다고 회사는 설명했다.
작업 복잡도가 높아질수록 문제는 더 뚜렷해졌다. 정답 수정이 6개 이상의 파일에 걸쳐 있는 경우 에이전트의 recall은 0.579에서 0.143으로 떨어졌고, 실패한 시도는 성공한 시도보다 4배 많은 컴퓨팅 자원을 소모한 것으로 나타났다.
Hasibul Haque Causal Dynamics Lab CEO는 현재 에이전트들이 여전히 텍스트 검색에 크게 의존하고 있다고 지적했다. 그는 “오늘날 모든 코딩 에이전트는 그렙으로 길을 찾는다”고 말하며, Cielara Code는 에이전트가 운영 환경의 인과 모델을 기반으로 판단할 수 있도록 설계됐다고 설명했다.
회사에 따르면 Cielara Code는 코드가 무엇을 하는지, 왜 만들어졌는지, 누가 소유하는지, 어떤 제약을 받는지, 어디에서 실행되는지, 런타임에서 실제로 어떤 일이 발생했는지를 표현하는 Production World Model을 구축한다. 이 모델은 런타임 장애를 해당 변경을 도입한 커밋, 승인 경로, 변경의 원래 의도까지 연결하는 데 활용된다.
Causal Dynamics Lab은 Cielara Code가 코드 변경 위치를 찾는 localization 영역에서 Claude Code와 OpenAI Codex를 세 개의 독립 벤치마크에서 앞섰다고 밝혔다. 회사가 공개한 수치에 따르면 Cielara Code의 전체 위치 탐색 정확도는 0.774로, Claude Code의 0.738, Codex의 0.707보다 높았다. 46개 저장소의 1,033개 이슈를 다룬 MULocBench에서는 Cielara가 recall@5 기준 0.752를 기록해 Claude Code의 0.727을 앞섰으며, 평균 작업 시간은 141.84초에서 128.62초로 줄었다.
회사는 이 시스템이 잘못된 파일 수정, 실패한 실행, 컴퓨팅 비용을 줄일 수 있다고 설명했다. Cielara의 REASONARA 메모리 레이어는 운영 맥락을 그래프 구조의 인과 메모리로 저장해, 전체 코드베이스를 프롬프트에 넣는 대신 필요한 맥락만 검색하도록 설계됐다. 발표 자료에 따르면 일반적인 조회에는 1,000~2,500개 토큰이 사용되며, 전체 맥락 접근 방식의 23,000~115,000개 토큰과 비교된다.
Causal Dynamics Lab은 Cielara Code를 기존 코딩 에이전트를 대체하는 제품이 아니라, 그 주변에서 작동하는 검증 레이어로 포지셔닝하고 있다. 회사는 현재 Fortune 100 기업 11곳과 Fortune 500 기업 40곳 이상이 자사 코드베이스에 Cielara Code를 사용하고 있다고 밝혔다.
이번 발표의 더 넓은 맥락은 AI 소프트웨어 개발이 기업에 새로운 검증 문제를 만들고 있다는 점이다. AI 에이전트가 더 많은 코드를 작성하고 수정할수록, 기업은 변경 사항이 운영 환경에 도달하기 전에 그 파급 효과를 평가할 수 있는 방법을 필요로 한다. 회사는 이 문제를 AWS CTO Werner Vogels가 언급한 ‘Verification Debt’ 개념과 연결했다. 이는 자동화된 코드 생성 속도와 실제 영향 검증 능력 사이의 격차를 의미한다.
Causal Dynamics Lab의 창업팀에는 전 Uber 플랫폼 엔지니어와 AI 연구자들이 포함돼 있다. Hasibul Haque CEO는 과거 Uber에서 플랫폼 엔지니어링을 이끌었고, Ryan Turner CTO는 전 Uber Staff Engineer이자 CNCF SPIRE maintainer다. 회사는 Emory AI Lab과의 공식 R&D 파트너십을 통해 연구를 진행하고 있다고 밝혔다.
Causal Dynamics Lab은 향후 Production World Model을 코드 위치 탐색과 배포 전 검증을 넘어 확장할 계획이다. 장기적으로는 코드, 인프라, 정책, 런타임 환경 전반에서 제안된 변경 사항을 시뮬레이션하고, 기업 소프트웨어 시스템을 위한 지속적인 추론 레이어를 구축하는 것이 목표라고 설명했다.
