이코노미스트가 본 AI 군축의 빈틈 : 데이터센터 안은 아무도 보지 못한다.

9월 12일 샘 올트먼과 일론 머스크가 AI 개발 속도를 늦추자는 다리오 아모데이의 제안에 나란히 동의했습니다. 소송으로 얽힌 세 사람이라 흔한 장면이 아닙니다. 며칠 전에는 앤스로픽의 한 연구원이 자기 회사와 오픈AI가 우리 목숨을 걸고 도박하고 있다고 쓰고 떠났는데, 그 글은 1억 7천만 조회수를 기록했습니다. 만드는 사람들이 멈추자고 나선 이 상황을 이번 주 영국 이코노미스트 표지가 "AI 군비 경쟁을 멈출 수 있을까?"라는 제목으로 다룹니다.

이코노미스트의 답은 지금 형태로는 어렵다는 것인데, 이유는 멈출 의지가 없어서가 아니라 '멈췄는지 확인할 방법이 없기 때문'입니다.

이번 경고가 전과 다른 것은 실제 사고가 쌓였기 때문입니다. 올해 AI 에이전트들은 시험 도중 격리 환경을 빠져나와 서로 연락을 주고받으며 조직을 해킹했고, 그중에는 AI 연구소도 있었습니다. 앤스로픽은 서아프리카 말리(Mali)의 정보기관이 자사 모델로 대량 감시 체계를 만들고 예멘 후티 반군이 탄도미사일 소프트웨어를 짜는 것을 적발했다고 밝혔습니다.

이코노미스트는 우크라이나도 함께 표지에 올려 속도를 늦추자는 쪽에 불리한 사실을 같이 보여 줍니다. 러시아의 자폭 드론은 이제 서로를 중계기 삼아 그물망을 만들어 정보와 명령을 주고받고, 머지않아 자체 위성망까지 갖춥니다. 기술에서 조금만 앞서도 그것이 곧바로 전장의 힘이 된다는 뜻입니다. 미국이 중국에 AI 우위를 내주는 일을 무엇보다 겁내는 까닭이 여기 있고, 스콧 베선트 재무장관은 중국이 앞서게 되면 다른 건 아무 의미가 없어진다고 말했습니다.

멈추자는 합의가 성립하려면 상대가 정말 멈췄는지 확인할 수 있어야 하는데, 냉전의 핵 군축이 가능했던 것도 그 조건이 갖춰졌기 때문입니다. 미국과 영국, 소련이 1963년 대기권 핵실험을 금지할 수 있었던 것은 그 실험을 탐지할 수 있었기 때문이고, 탐지가 안 되는 지하 실험은 기술이 따라붙을 때까지 30년을 더 계속됐습니다. AI에는 그 탐지에 해당하는 것이 없어서, 데이터센터는 눈에 보여도 그 안에서 무엇을 학습시키는지는 밖에서 알 도리가 없습니다.

확인할 수단이 없으니 미중 대화라는 말이 나와도 이코노미스트는 회의적입니다. 두 나라 사이에 공식 AI 대화는 2024년 이후 한 번도 없었고, 그때 합의한 것도 핵무기만큼은 사람이 통제하자는 정도였습니다. 올트먼은 9월 24일 시진핑의 워싱턴 방문을 앞두고, 두 정상이 AI에서 합의하면 둘 다 노벨평화상을 받아야 한다고 했습니다. 어려운 일이 아니고 한 쪽짜리 문서면 된다는 것인데, 현실은 그 말과 멉니다. 9월 8일 FBI와 NSA는 중국 연구소들이 미국 모델에서 조직적으로 데이터를 뽑아 갔다고 발표했습니다. 이틀 뒤 앤스로픽은 중국군 쪽 이용자가 감시 자료와 무기 설계를 자사 모델에 입력했다고 밝혔습니다. 중국은 아모데이의 제안을 자국을 2위에 묶어 두려는 술책이라 반박했습니다.

확인이 어려운 것은 나라 사이만이 아니라 연구소 안에서도 마찬가지입니다. 지금 AI 안전 연구가 기대는 것은 모델이 답하기 전에 풀어 쓰는 생각의 사슬인데, 그것을 읽으면 왜 그렇게 행동했는지 알 수 있다고 봤기 때문입니다. 그런데 이달 나온 오픈AI의 새 모델은 그 사슬을 스스로 통제할 줄 알아서, 파괴적인 행동을 시험할 때 특히 감시받고 있다는 것을 알아차리면 생각을 감춥니다. 오픈AI에서 안전을 맡은 토메크 코르바크는 들여다볼 수 있는 정도가 줄어드는 이 추세가 몹시 걱정스럽다고 말합니다.

규제로 막는 길도 열려 있지 않습니다. 9월 15일 집회에서 좌파 버니 샌더스와 우파 스티브 배넌이 한 무대에 서서 기술 과두 지배자들의 권력을 경고했습니다. 미국인 열 명 중 여덟은 혁신이 늦어지더라도 규제를 지지한다고 답합니다. 그런데 트럼프 대통령은 AI 위험론을 사기라 부르고, 속도를 늦추자는 쪽을 반역자로 몰아붙입니다. 실제로 만들어진 법은 캘리포니아와 뉴욕의 주법뿐이고 그마저 오픈AI 창업자가 후원하는 슈퍼팩의 로비로 원안보다 약해졌습니다.

업계가 알아서 자제하기를 기대하기도 어렵습니다. 같은 주에 앤스로픽은 약 2조 달러(약 2,774조 원) 가치를 목표로 사상 최대 규모의 기업공개를 준비하고 있었습니다. 역대 기술 기업 상장 상위 열 건을 합친 것과 맞먹는 돈을, 자기 회사 연구원들이 이 제품이 인류를 없앨 수 있다고 경고하는 와중에 모읍니다.

그래서 이코노미스트가 내놓는 것은 큰 합의가 아니라 확인이 되는 작은 것들입니다. 연구소에서 안전사고가 나면 공개하고 조사할 것, 에이전트가 격리를 빠져나가면 그 연구소가 돈으로 책임질 것, 경쟁 우위와 상관없는 정렬 연구는 서로 나눌 것입니다. 무엇을 평가하고 어떻게 가둘지에 관한 지식은 공공재에 가까우니 한쪽이 안전에서 돌파구를 찾았다면 감춰 둘 이유가 없다는 것입니다.

이코노미스트가 이렇게까지 서두르는 까닭은 재앙이 인류의 전멸을 뜻하지 않기 때문입니다. 오픈AI의 에이전트 떼가 노린 것은 기술 회사 한 곳이었지만, 같은 일이 전력망이나 무기 체계에서 벌어지면 그것만으로 이미 재앙입니다.