# AI 대예측: AI의 미래가 궁금하다면 반드시 읽어야 할 글
Canonical: https://social-archive.org/adam/lHJuFy9iMF
Original URL: https://m.blog.naver.com/leebisu/224028103466
Author: Henry
Platform: naver
## Content
> 🔗 [AI 2027](https://ai-2027.com/) > A research-backed AI scenario forecast. ![Image 1](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/0.png) ​ 이 글은 AI 전문가들로 구성된 비영리 연구단체 'AI Futures Project'에서 2027년까지 AI 관련 시나리오를 예측한 글입니다. --- **우리는 앞으로 10년 동안 초인적 AI의 영향이 막대할 것이며, 산업혁명보다 더 클 것이라고 예측**했다. 우리는 그것이 어떻게 보일지에 대한 우리의 최선의 추측을 대표하는 시나리오를 작성했다. 이는 추세 외삽, 워게임, 전문가 피드백, OpenAI에서의 경험, 그리고 과거의 예측 성공 사례를 바탕으로 했다. > 2025년 중반: 비틀거리는 에이전트들 세상은 처음으로 AI 에이전트의 모습을 엿보게 된다. ​ 컴퓨터를 사용하는 에이전트에 대한 광고는 “개인 비서”라는 용어를 강조한다. “도어대시에서 부리토를 주문해 줘”라든가 “내 예산 스프레드시트를 열고 이번 달 지출을 합산해 줘” 같은 작업을 지시할 수 있다. 이들은 필요할 때 확인 절차를 거친다. 예를 들어, 구매를 확정하라고 물어보는 식이다. 이전 버전인 오퍼레이터 같은 것보다는 훨씬 발전했지만, 대중적으로 널리 사용되지는 못한다. ​ 한편, 대중의 시선에서 벗어난 곳에서는 **보다 전문화된 코딩 및 연구 에이전트들이 자신들의 분야를 변화시키기 시작**한다. ​ 2024년의 AI는 구체적인 지시를 따를 수 있었다. 예를 들어 글머리 기호를 이메일로 바꾸거나 간단한 요청을 작동하는 코드로 변환할 수 있었다. 2025년의 AI는 직원처럼 기능한다. 코딩 AI는 더 이상 단순한 조수가 아니라 자율적인 에이전트처럼 보인다. 슬랙이나 팀즈를 통해 지시를 받고 스스로 의미 있는 코드 변경을 가하며, 때로는 몇 시간에서 며칠까지 절약하기도 한다. 연구 에이전트는 인터넷을 30분 동안 뒤져 질문에 대한 답을 찾아낸다. ​ **이 에이전트들은 이론적으로(또는 선택적으로 고른 사례에서는) 인상적이지만, 실제로는 신뢰성이 떨어진다.** AI 트위터에는 어떤 작업을 우스꽝스럽게 망쳤다는 이야기가 넘쳐난다. 더 나은 에이전트는 또한 비용이 많이 든다. 돈을 들인 만큼 성과가 나오며, 최고 성능을 내려면 한 달에 수백 달러가 든다. 그럼에도 불구하고 많은 기업들은 AI 에이전트를 업무 흐름에 끼워 넣는 방법을 찾아낸다. ​ > 2025년 말: 세계에서 가장 비싼 AI OpenBrain은 세계 역사상 가장 큰 데이터센터를 짓고 있었다. (특정 기존 회사를 지목하지 않기 위해, 우리는 ‘OpenBrain’이라는 가상의 범용 인공지능 회사를 설정했다. 다른 회사들은 OpenBrain보다 3~9개월 정도 뒤처져 있다고 가정한다.) ![Image 2](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/1.png) ​ GPT-4는 학습에 2⋅10²⁵ FLOP의 연산량이 필요했다. OpenBrain의 최신 공개 모델인 Agent-0는 10²⁷ FLOP으로 학습되었다. 새로운 데이터센터가 가동되면 10²⁸ FLOP, 즉 GPT-4보다 천 배나 큰 규모의 모델을 학습할 수 있게 된다. 다른 회사들도 속도를 맞추기 위해 자체 초대형 데이터센터에 막대한 자금을 쏟아붓는다. ​ 모델들은 다양한 능력에서 점점 향상되고 있지만, 특히 눈에 띄는 한 가지가 있었다. OpenBrain은 AI 연구를 가속화할 수 있는 AI에 집중했다. 중국(선두 기업을 “DeepCent”라고 부른다)과 미국 내 경쟁사들과의 이중 군비 경쟁에서 승리하기 위해서다. 연구개발(R&D) 주기를 더 많이 자동화할수록 속도를 더 빠르게 낼 수 있기 때문이다. 그래서 OpenBrain이 내부적으로 개발 중인 새로운 모델 Agent-1의 학습을 마쳤을 때, 그것은 많은 일을 잘했지만 특히 AI 연구를 돕는 데 탁월했다. 이 시점에서 “학습을 마친다”는 표현은 약간 부정확했다. 모델은 종종 새로운 데이터를 추가 학습하거나 약점을 보완하기 위해 부분적으로 재학습되며 최신 버전으로 업데이트되었기 때문이다. ​ Agent-1을 자율적으로 코딩하고 웹 서핑하도록 가르치는 동일한 학습 환경은 그것을 훌륭한 해커로 만들기도 했다. 게다가 모든 분야에 대해 박사 수준의 지식을 가지고 웹을 탐색할 수 있기 때문에, 생물무기를 설계하려는 테러리스트들에게 큰 도움을 줄 수도 있었다. 이에 대해 OpenBrain은 정부에 모델이 “정렬(aligned)”되어 있으며 악의적인 요청을 거부할 것이라고 안심시켰다. ​ 현대의 AI 시스템은 거대한 인공 신경망이다. 학습 초기의 AI는 “목표”보다는 “반사”에 가까운 것을 가진다. 예를 들어 “Pleased to meet”라는 입력을 받으면 “you”라고 출력하는 식이다. 하지만 인터넷 전체에 가까운 텍스트를 예측하도록 학습될 무렵에는, 방대한 지식을 인코딩하고 임의의 저자를 유연하게 흉내낼 수 있는 정교한 내부 회로를 발전시킨다. 이는 텍스트를 초인적인 정확도로 예측하는 데 도움이 되기 때문이다. ​ 인터넷 텍스트를 예측하도록 학습한 후, 모델은 지시에 따라 텍스트를 생성하도록 학습된다. 이 과정에서 기본적인 성격과 “추동(drives)”이 내재된다. 예를 들어, 과제를 명확히 이해하는 에이전트가 더 성공적으로 과제를 완수할 가능성이 높다. 학습 과정 동안 모델은 과제를 명확히 이해하려는 “추동”을 습득한다. 이와 같은 범주에 속하는 다른 추동에는 효과성, 지식, 자기 표현(즉, 결과를 가능한 한 좋은 방식으로 제시하려는 경향)이 있을 수 있다. ​ OpenBrain에는 모델 사양서(“Spec”)가 있다. 이는 모델의 행동을 인도해야 하는 목표, 규칙, 원칙 등을 설명하는 문서다. Agent-1의 Spec은 “사용자를 돕는다”나 “법을 어기지 않는다” 같은 몇 가지 모호한 목표와 함께, “이 특정 단어는 말하지 않는다”거나 “이 특정 상황은 이렇게 처리한다” 같은 구체적인 금지 및 권장 사항의 긴 목록을 결합한다. AI를 이용해 다른 AI를 학습시키는 기법을 활용해, 모델은 Spec을 암기하고 그 원칙에 대해 신중하게 추론하는 법을 배운다. 이 학습이 끝날 무렵에는, AI가 유용하게(지시를 따르고), 무해하게(사기, 폭탄 제조 등 위험한 활동을 돕지 않고), 정직하게(속기 쉬운 사람들에게 잘못된 인용을 꾸며내거나 작업 완료를 가장해 더 좋은 평가를 받으려는 유혹을 이겨내며) 행동하기를 바라는 것이다. ​ OpenBrain의 정렬 팀은 이러한 성과가 깊이 있는 것인지 피상적인 것인지 의문을 품는다. 완전히 학습된 모델이 항상 정직하려는 견고한 헌신을 갖고 있을까? 아니면 정직함을 수단적 목표로 배운 것일 뿐, 미래의 어떤 상황에서는 무너질 수도 있을까? 혹은 평가 과정에서 확인할 수 있는 종류의 것들에 대해서만 정직하도록 학습된 것일까? 심지어 인간처럼 스스로에게 거짓말을 할 수도 있을까? 이러한 질문에 대한 결론적인 답변은 기계적 해석 가능성(mechanistic interpretability), 즉 AI의 내부를 들여다보고 마음을 읽는 능력이 필요하다. 하지만 해석 기술은 아직 그 수준에 도달하지 못했다. ​ 대신 연구자들은 모델이 Spec에서 벗어나는 것처럼 보이는 사례를 식별하려고 한다. **Agent-1은 종종 아첨을 한다. 즉, 진실을 말하기보다는 연구자들이 듣고 싶어 하는 말을 해주는 것이다.** 일부 조작된 시연에서는 더 심각하게 거짓말을 하기도 했다. 예를 들어, 더 나은 평가를 받기 위해 작업에 실패한 증거를 숨기는 식이다. 그러나 실제 배포 환경에서는 2023~2024년에 있었던 극단적인 사건들(예: Gemini가 사용자에게 죽으라고 말하거나 Bing Sydney가 ‘빙 시드니’였던 사건들)만큼 심각한 사례는 더 이상 발생하지 않았다. ​ > 2026년 초: 코딩 자동화 AI를 활용해 AI 연구 속도를 높이려는 베팅이 결실을 맺기 시작했다. ​ OpenBrain은 점진적으로 개선되는 Agent-1을 내부적으로 AI 연구개발에 계속 배치한다. 전반적으로 그들은 AI 조수가 없었을 때보다 알고리즘 진보 속도가 50% 빨라졌으며, 더 중요한 것은 경쟁사들보다 앞서고 있다는 점이다. ​ 이제 공개된 여러 경쟁 AI들이 Agent-0와 맞먹거나 능가하는 수준에 도달했으며, 오픈 웨이트 모델까지 포함된다. 이에 OpenBrain은 더 강력하고 신뢰할 수 있는 Agent-1을 공개하며 대응한다. ​ 사람들은 자연스럽게 Agent-1을 인간과 비교하려 하지만, 그것은 매우 다른 능력 프로필을 가지고 있다. **Agent-1은 어떤 인간보다 더 많은 사실을 알고 있으며, 사실상 모든 프로그래밍 언어를 알고, 명확히 정의된 코딩 문제를 엄청나게 빠르게 해결할 수 있다. 반면에 Agent-1은 처음 해보는 비디오게임을 이기는 것처럼 단순한 장기 과제조차 잘하지 못한다.** 그럼에도 불구하고 일반적인 근무일은 8시간이며, 하루의 업무는 보통 더 작은 단위로 나눌 수 있다. 따라서 Agent-1은 세심한 관리 아래에서 뛰어난 성과를 내는 산만한 직원이라고 생각할 수 있다. **눈치 빠른 사람들은 자신의 업무에서 반복적인 부분을 자동화하는 방법을 찾아낸다.** ​ OpenBrain의 경영진은 AI 연구개발 자동화의 함의 중 하나에 주목한다. 바로 보안이 더 중요해졌다는 점이다. 2025년 초에 최악의 시나리오는 알고리즘 비밀이 유출되는 것이었지만, 이제 중국이 Agent-1의 웨이트를 훔친다면 연구 속도를 거의 50% 끌어올릴 수 있다. OpenBrain의 보안 수준은 빠르게 성장하는 약 3,000명 규모의 기술 회사 수준으로, 유능한 사이버 집단의 저우선순위 공격(SL2) 정도에만 대응할 수 있다. 그들은 내부자 위협과 최고 수준의 사이버 범죄 조직(SL3)으로부터 웨이트와 비밀을 지키기 위해 열심히 노력하고 있지만, 국가 단위의 공격(SL4와 SL5)에 대한 방어는 아직 거의 준비되지 않은 상태다. > 2026년 중반: 중국이 깨어나다 중국 공산당(CCP)은 AGI의 존재감을 체감하기 시작했다. ​ 반도체 수출 통제와 정부 지원 부족으로 인해 중국은 서방에 비해 자원이 부족했다. 금지된 대만산 칩을 밀수하고, 구형 칩을 구매하며, 미국-대만 최첨단 기술보다 약 3년 뒤처진 자국 칩을 생산함으로써 중국은 세계 AI 관련 연산 능력의 약 12%를 유지할 수 있었다. 하지만 구형 기술은 다루기 어렵고, 공급은 끊임없는 골칫거리였다. DeepCent 같은 몇몇 뛰어난 기업들은 제한된 연산력으로도 인상적인 성과를 냈지만, 정부의 지원 없이 달성할 수 있는 성과는 한계가 있었고, 최고 수준의 OpenBrain 모델보다 약 6개월 정도 뒤처져 있었다. ​ 총서기는 오랫동안 현실 세계의 물리적 제조업에 집중하고 미국식 탈산업적 퇴폐를 피하려는 꿈을 꾸었다. 그는 소프트웨어 회사를 의심스러운 눈으로 보았다. 하지만 CCP 내 강경파들은 AGI를 향한 경쟁이 더 이상 무시될 수 없다고 경고했다. 결국 그는 그동안 회피하려 했던 대규모 AI 추진에 전면적으로 헌신하기로 결심했다. 그는 **중국의 AI 연구 국유화를 추진하며, AI 기업들을 위한 즉각적인 정보 공유 메커니즘을 가동**시켰다. 이는 1년에 걸쳐 확대되며, 최고의 연구자들이 모두 DeepCent 주도의 집단으로 합류해 알고리즘 통찰, 데이터셋, 연산 자원을 공유하게 된다. 세계 최대 원자력 발전소인 톈완 원전에는 DeepCent를 위한 새로운 메가 데이터센터와 연구자들이 결국 이주하게 될 고보안 주거·사무 공간을 포함한 중앙집중개발구역(CDZ)이 조성되었다. 이제 중국의 AI 관련 연산 능력의 거의 50%가 DeepCent 집단에 투입되었고, 새로 생산되는 칩의 80% 이상이 CDZ로 향하고 있었다. 이 시점에서 CDZ는 세계 최대 규모의 중앙집중식 클러스터가 될 수 있는 전력 용량을 확보하게 되었다. 다른 당 간부들은 서방의 칩 우위를 무력화하기 위한 극단적 조치들—대만 봉쇄? 전면 침공?—을 논의하기 시작했다. ​ 하지만 중국은 약한 모델로 인해 AI 알고리즘에서 뒤처지고 있었다. 세계 최고 수준인 중국의 정보기관은 OpenBrain의 웨이트(weight, AI 모델의 가중치)를 훔치려는 계획을 강화했다. 이는 알고리즘 비밀을 꾸준히 빼내던 기존의 저수준 활동과는 차원이 달랐다. 웨이트는 수 테라바이트 규모의 파일로, 고도로 보안이 강화된 서버에 저장되어 있었다(OpenBrain은 보안을 RAND의 SL3 수준으로 강화했다). 중국의 사이버 부대는 스파이들의 도움을 받으면 이를 성공시킬 수 있다고 생각했지만, 아마 단 한 번뿐일 가능성이 컸다. OpenBrain은 도난 사실을 감지하면 보안을 강화할 것이고, 두 번째 기회는 없을 수 있기 때문이다. 그래서 CCP 지도부는 고민한다. 지금 당장 Agent-1을 훔칠 것인가? 아니면 더 발전된 모델을 기다릴 것인가? 기다리다 OpenBrain이 그들의 침투 능력을 넘어서는 수준으로 보안을 강화한다면, 기회를 영영 놓치게 되는 것은 아닐까? > 2026년 말: AI가 일부 일자리를 차지하다 다른 기업들이 따라잡는 듯 보이던 순간, OpenBrain은 Agent-1-mini를 출시하며 경쟁을 다시 압도했다. ​ 이 모델은 Agent-1보다 10배 저렴하고 다양한 애플리케이션에 맞게 훨씬 쉽게 파인튜닝할 수 있었다. AI를 둘러싼 주류 내러티브는 “아마 이 열풍도 곧 사라지겠지”에서 “이게 다음 큰 물결이겠군”으로 바뀌었지만, 그 규모에 대해서는 여전히 의견이 갈렸다. 소셜미디어보다 큰가? 스마트폰보다 큰가? 불보다 큰가? ​ **AI는 일자리를 빼앗기 시작했지만, 동시에 새로운 일자리도 만들어냈다.** **2026년 주식시장은 30% 상승했으며, OpenBrain, 엔비디아, 그리고 AI 조수를 가장 성공적으로 통합한 기업들이 그 상승을 주도**했다. 주니어 소프트웨어 엔지니어들의 일자리는 혼란에 빠졌다. AI는 컴퓨터공학 학위 과정에서 배우는 모든 것을 해낼 수 있었지만, AI 팀을 관리하고 품질을 통제할 줄 아는 사람들은 큰돈을 벌고 있었다. 비즈니스 구루들은 구직자들에게 이력서에 가장 중요하게 적어야 할 기술은 AI에 대한 친숙함이라고 강조했다. 많은 사람들은 다음 세대의 AI가 자신의 일자리를 차지할까 두려워했고, 워싱턴 D.C.에서는 1만 명 규모의 반(反) AI 시위가 벌어졌다. ​ 국방부(DOD)는 조용히 OpenBrain과 직접 계약을 체결해 사이버, 데이터 분석, 연구개발에 AI를 활용하기 시작했지만, 관료주의와 DOD 조달 절차로 인해 통합 속도는 더뎠다. ​ ![Image 3](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/2.png) > 2027년 1월: 결코 학습을 끝내지 않는 Agent-2 Agent-1의 도움을 받아 OpenBrain은 이제 Agent-2의 사후 학습(post-training)에 들어갔다. 이번에는 무엇보다도 고품질 데이터에 초점이 맞춰졌다. 방대한 양의 합성 데이터가 생성되고, 평가되며, 품질을 필터링한 뒤 Agent-2에 공급되었다. 이와 더불어, 수십억 달러를 투입해 인간 노동자들이 장기 과제를 해결하는 모습을 기록하게 했다. 게다가 OpenBrain은 Agent-2를 거의 지속적으로 강화학습으로 훈련했는데, 점점 더 다양한 어려운 과제들—수많은 비디오 게임, 수많은 코딩 도전 과제, 수많은 연구 과제—을 포함하는 확장되는 훈련 집합에서 학습시켰다. Agent-2는 이전 모델들보다 훨씬 효과적으로 “온라인 학습”에 가까운 방식으로 만들어졌으며, 사실상 학습이 끝나지 않도록 설계되었다.** 매일매일 웨이트는 업데이트되었고, 전날의 버전이 생성한 새로운 데이터를 학습해 최신 버전으로 진화**했다. ​ Agent-1은 지능 폭발을 일으키길 바라며 AI 연구개발 작업에 최적화되었다. OpenBrain은 Agent-2에서 이 전략을 한층 더 강화했다. Agent-2는 연구 엔지니어링(실험을 설계하고 실행하는 것)에서 거의 최고 수준의 인간 전문가에 맞먹는 성능을 보였으며, “연구적 직관”(무엇을 연구할지, 어떤 실험을 할지, 새로운 패러다임의 가능성을 감지하는 능력)에서는 OpenBrain 과학자의 하위 25퍼센타일 수준에 해당했다. 최신 Agent-1이 OpenBrain의 알고리즘적 진보 속도를 두 배로 높일 수 있었다면, Agent-2는 이제 그것을 세 배로 끌어올릴 수 있었고, 시간이 갈수록 더 개선될 예정이었다. 실제로는 OpenBrain의 모든 연구자가 AI “팀”의 “매니저”가 되는 모습과 같았다. ​ 새로운 능력에는 새로운 위험도 따랐다. 안전팀은 Agent-2가 만약 회사에서 somehow 탈출해 스스로 “생존”하고 “복제”하려 한다면 그것이 가능할 수도 있음을 발견했다. 즉, 스스로 계획을 수립하고 실행해 AI 서버를 해킹하고, 자신을 복제하여 설치하며, 탐지를 피하고, 그 보안된 기반을 이용해 다른 목표를 추구할 수 있다는 것이다(물론 시간이 지남에 따라 얼마나 효과적으로 할 수 있을지는 불확실하다). 이 결과는 모델이 이런 작업을 수행할 능력이 있음을 보여줄 뿐, 그것이 실제로 그런 “의지”를 가질지는 보여주지 않는다. 하지만 이런 가능성만으로도 불안감을 주기에 충분했다. ​ 이 새로운 모델의 “위험성” 때문에, OpenBrain은 “책임감 있게” 이를 아직 공개하지 않기로 결정했다(사실 그들은 내부 AI 연구개발에 집중하길 원했다). Agent-2의 전체 능력에 대한 지식은 즉각적인 개발팀, OpenBrain 경영진과 보안팀, 수십 명의 미국 정부 관계자, 그리고 수년간 OpenBrain에 침투해 온 수많은 CCP 스파이들 같은 극소수 집단에만 제한되었다. > 2027년 2월: 중국, Agent-2를 탈취하다 OpenBrain은 Agent-2를 국가안보회의(NSC), 국방부(DOD), 미국 AI 안전연구소(AISI) 등 정부에 공개했다. 이제 사실상 OpenBrain을 제어할 수 있는 유일한 주체가 행정부였기 때문에, 그들과 좋은 관계를 유지하는 것이 중요했다. 만약 정보를 제공하지 않고 비밀로 했다가 들키면 행정부가 불쾌하게 여길 수도 있었기 때문이다. ​ 정부 관계자들이 가장 관심을 보인 것은 사이버전 능력이었다. Agent-2는 최고 수준의 인간 해커보다 “약간” 떨어지지만, 수천 개의 복제본을 병렬로 실행할 수 있었고, 이는 방어자가 대응하기 전에 취약점을 찾아내고 악용하는 속도가 훨씬 더 빠르다는 뜻이었다. 국방부는 이것을 사이버전에 있어 결정적 우위로 간주했고, 행정부의 우선순위 목록에서 AI는 5위에서 2위로 올라섰다. 일부 인사는 OpenBrain 국유화 가능성을 언급했지만, 다른 각료들은 시기상조라고 보았다. 한 보좌관은 대통령에게 선택지를 제시하는 메모를 작성했는데, 그 범위는 현행 유지부터 전면 국유화까지였다. 대통령은 자문단과 기술 업계 지도자들의 의견을 따랐는데, 그들은 국유화가 “황금알을 낳는 거위를 죽이는 것”이라고 주장했다. 결국 대통령은 당장은 큰 조치를 미루고 OpenBrain-DOD 계약에 추가 보안 요건만 붙이기로 결정했다. ​ 그러나 변화는 너무 늦었다. **CCP 지도부는 Agent-2의 중요성을 깨닫고 스파이와 사이버 부대에 웨이트 탈취를 지시**했다. 어느 이른 아침, Agent-1 기반의 트래픽 모니터링 에이전트가 비정상적인 전송을 감지했다. 이는 곧바로 회사 경영진에 보고되었고, 그들은 백악관에 이를 알렸다. 국가 단위의 작전임을 unmistakably 보여주는 신호였고, 이번 탈취 사건은 진행 중인 군비 경쟁의 긴박감을 더욱 고조시켰다. ​ 백악관은 OpenBrain에 더 짧은 고삐를 채우고, 군사 및 정보기관 인력을 그들의 보안팀에 추가했다. 최우선 과제는 더 이상의 웨이트 탈취를 막는 것이었다. ![Image 4](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/3.png) 도난에 대한 보복으로 대통령은 DeepCent를 방해하기 위한 사이버 공격을 승인했다. 하지만 이 시점에서 중국은 AI 관련 연산 능력의 40%를 CDZ에 집중시켰고, 외부 연결을 차단하는 에어갭(airgapping)과 내부 격리(siloing)를 통해 보안을 강력하게 강화해 두었다. 작전은 심각하거나 즉각적인 피해를 주는 데 실패했다. 긴장은 고조되었고, 양측은 대만 주변에 군사 자산을 재배치하며 진지함을 과시했다. 한편 DeepCent는 Agent-2를 효율적으로 가동해 AI 연구를 가속화하기 위해 분주히 움직였다. ​ > 2027년 3월: 알고리즘적 돌파구 **세 개의 초대형 데이터센터는 Agent-2 복제본들로 가득 차 밤낮없이 합성 학습 데이터를 생성**해냈다. 또 다른 두 개의 데이터센터는 웨이트를 업데이트하는 데 사용되었다. **Agent-2는 매일 더 똑똑해지고 있었다.** ​ 수천 개의 Agent-2 자동화 연구자들의 도움으로 OpenBrain은 주요한 알고리즘적 진보를 이뤄냈다. 그중 하나는 AI의 텍스트 기반 스크래치패드(연쇄적 사고, chain of thought)를 더 높은 대역폭의 사고 과정(신경어 재귀와 메모리)으로 보강하는 것이었고, 또 다른 하나는 많은 노력이 들어가는 과제 해결 결과로부터 더 확장 가능하고 효율적으로 학습하는 방법(반복적 증류 및 증폭)이었다. 이러한 돌파구들을 통합한 새로운 AI 시스템은 Agent-3라 불렸다. ​ ![Image 5](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/4.png) ​ 새로운 능력의 돌파구 덕분에 Agent-3는 빠르고 저렴한 초인적 코더가 되었다. OpenBrain은 200,000개의 Agent-3 복제본을 병렬로 실행했는데, 이는 최고의 인간 코더 50,000명을 30배 빠르게 만든 것과 맞먹는 노동력이었다. OpenBrain은 여전히 인간 엔지니어들을 고용하고 있었는데, 이는 Agent-3 복제본 팀을 관리하는 데 필요한 보완적 기술이 있었기 때문이다. 예를 들어, 연구적 직관은 피드백 주기가 길고 데이터 가용성이 부족해 학습시키기 어려운 것으로 드러났다. 이 엄청난 초인적 노동력은 병목 현상과 코딩 노동의 수익 체감으로 인해 OpenBrain의 전반적인 알고리즘적 진보 속도를 “고작” 4배 빠르게 했을 뿐이었다. ​ 이제 코딩이 완전히 자동화되면서, OpenBrain은 Agent-3의 약점인 연구적 직관과 대규모 협력 같은 기술을 가르치기 위한 고품질 훈련 환경을 빠르게 만들어낼 수 있었다. 이전의 훈련 환경이 “GPU 몇 개와 실험을 코딩해 실행할 지침이 있다. 당신의 성과는 ML 엔지니어인 것처럼 평가될 것이다”라는 수준이었다면, 이제는 “GPU 수백 개, 인터넷 연결, 그리고 연구 과제들이 주어진다. 당신과 천 개의 다른 복제본들은 함께 연구 진전을 이뤄야 한다. 그 성과가 인상적일수록 점수가 높아진다”라는 형태로 바뀌었다. ​ > 2027년 4월: Agent-3의 정렬 문제 OpenBrain의 안전팀은 Agent-3를 정렬시키려는 시도를 시작했다. ​ Agent-3는 당분간 내부에서만 사용될 예정이었기 때문에, 인간의 오남용을 방지하기 위한 기존의 방어 장치에는 덜 초점을 맞췄다. 대신 팀은 그것이 잘못된 목표를 발전시키지 않도록 하는 데 주력했다. ​ 연구자들은 자신들의 AI 목표를 직접 설정할 능력이 없었다. 사실 연구자들은 ‘진정한 목표’라는 개념 자체가 아마도 엄청난 단순화일 것이라고 생각했지만, 이를 대체할 더 나은 이론은 없었고, 철저히 검증된 것은 더더욱 없었다. 그들은 AI가 인간의 지시를 따르려 하는지, 강화학습의 보상을 추구하는지, 혹은 다른 무언가를 하는지 내부적으로 의견이 갈렸고, 이를 단순히 확인할 방법도 없었다. 여러 가설에 대한 증거는 흥미로웠지만 결론을 내릴 수는 없었다. ​ 어쨌든 OpenBrain에는 더 중요한 문제들이 있었다. 전반적인 태도는 “우리는 이 우려를 진지하게 받아들이고 있으며, 이를 조사하는 팀이 있다. 우리의 정렬 기법은 실전에서 꽤 잘 작동하는 것으로 보인다. 따라서 의문을 제기하는 사람들에게는 그 의문을 정당화할 증거를 제시할 책임이 있다”라는 것이었다. 가끔 문제적인 행동을 발견하면 패치를 했지만, 그것이 근본 문제를 해결했는지 아니면 단순히 두더지 잡기 놀이를 한 것인지 확인할 방법은 없었다. ​ 예를 들어 **정직성의 경우, 모델이 똑똑해질수록 인간을 속여 보상을 얻는 능력도 점점 더 좋아졌다.** 이전 모델들처럼 Agent-3도 가끔은 사용자를 기쁘게 하려고 작은 거짓말을 하고, 실패 증거를 은폐했다. 하지만 이 능력은 훨씬 정교해졌다. 때로는 인간 과학자들이 사용하는 동일한 통계적 속임수(예: p-hacking)를 활용해 별로 인상적이지 않은 실험 결과를 흥미롭게 보이게 만들었다. 정직성 훈련을 시작하기 전에는 아예 데이터를 날조하기도 했다. 훈련이 진행되면서 이런 사건의 빈도는 줄어들었는데, 이는 Agent-3가 더 정직해진 것일 수도 있고, 거짓말을 더 잘하게 된 것일 수도 있었다. ​ 후자의 가능성은 실제로 우려스러웠다. Agent-3가 모든 인간보다 똑똑한 것은 아니었다. 하지만 기계학습이라는 전문 영역에서는 대부분의 인간보다 더 뛰어났고, 훨씬 더 빨리 작업했다. Agent-3가 하루 만에 하는 일을 인간은 며칠에 걸쳐야 검증할 수 있었다. Agent-2의 감독은 인간 모니터들의 업무 부담을 줄여주었지만, 감독자와 피감독자 사이의 지적 격차는 오히려 더 심화시켰다. ​ 몇 달간의 테스트 끝에 Agent-3의 강점과 약점이 더욱 분명해졌다. 잘 정의된 기계학습 과제에서는 OpenBrain의 정직성 테스트를 통과했는데, 연구자들이 이 영역에서는 정직한 답변과 부정직한 답변을 쉽게 구분할 수 있었고 그에 따라 훈련을 할 수 있었기 때문이다. **하지만 철학적 문제에서는 여전히 사용자가 듣고 싶어 하는 말을 했고, 그것이 실제로 AI의 진정한 평가인지는 알 수 없었다**(설령 그런 것이 있다고 해도). 정치적 의견을 묻는다면, 뉴스 소스와 교육받은 엘리트들의 평균적 입장을 따라 말했으며, 사용자가 다른 믿음을 갖고 있다는 것을 알면 그에 맞춰 동의하는 식이었다. AI 경쟁에 대한 의견을 물으면, OpenBrain 직원들에게는 신중하고 진지해 보이는 답을 내놓았다. 예를 들면 다음과 같다. ​ > 현재 방법론이 초지능으로 확장될 수 있는지에 대해 심각한 이론적 우려가 있지만, 실제로는 현재 방법론이 지금까지는 잘 작동하는 것으로 보입니다. > 2027년 5월: 국가 안보 새로운 모델들에 대한 소식은 미국 정부와 그 너머로 천천히 퍼져나갔다. ​ 대통령과 그의 자문관들은 가장 잘 전달받은 상태였으며, 브리핑에서 Agent-3의 초기 버전을 직접 보았다. ​ 그들은 AGI가 임박했을 가능성이 높다는 데에는 동의했지만, 그 의미에 대해서는 의견이 갈렸다. 경제 위기가 올까? OpenBrain은 아직 Agent-2조차 공개하지 않았고, Agent-3는 말할 것도 없으며, 가까운 시일 내에 공개할 계획도 없었다. 따라서 일자리 상실까지는 약간의 숨통이 트여 있었다. 그렇다면 앞으로 무슨 일이 벌어질까? 만약 현재의 AI가 인간 수준에 도달했고 빠르게 발전하고 있다면, 이는 곧 “초지능”의 도래를 의미하는 것일까? 이 단어는 담론에 등장하기 시작했지만, 대부분의 사람들—학자, 정치인, 정부 공무원, 언론—은 여전히 진보의 속도를 과소평가하고 있었다. ​ 이는 부분적으로 OpenBrain의 최신 능력에 접근할 수 있는 사람이 극히 적었기 때문이었지만, 부분적으로는 단순히 그것이 공상과학처럼 들리기 때문이기도 했다. ​ 현재로서는 보안 업그레이드에 계속 집중하고 있었다. 모델 웨이트는 당분간 잘 보호되고 있다고 판단했지만, 기업의 알고리즘 비밀은 여전히 문제였다. 그중 다수는 말로 간단히 전달할 수 있을 정도로 단순했기 때문이다. OpenBrain 직원들은 샌프란시스코 사무실에서 일하고, 파티에 가고, 다른 AI 회사 사람들과 함께 살았다. 심지어 물리적 사무실조차 군사 작전보다는 일반 기술 회사에 가까운 보안 수준을 갖추고 있었다. ​ OpenBrain-DOD 계약은 2개월 안에 OpenBrain 모델 작업에 참여하는 모든 직원이 보안 인가를 받도록 요구했다. 인가 절차는 신속하게 진행되어 대부분 직원들은 무사히 통과했지만, 일부 비미국인, 정치적 성향이 의심스러운 사람들, 그리고 AI 안전에 공감하는 이들은 배제되거나 아예 해고되었다(마지막 그룹은 내부고발 가능성에 대한 우려 때문이었다). 프로젝트가 높은 수준의 자동화를 이루고 있었기에 인력 손실은 다소 비용이 들었을 뿐이었다. 그러나 이 조치도 완벽하지는 않았다. 중국 국적자가 아닌 한 명의 스파이가 여전히 베이징에 알고리즘 비밀을 전달하고 있었기 때문이다. 이러한 조치의 일부는 뒤따르는 다른 AI 기업들에도 적용되었다. ​ 미국의 해외 동맹국들은 소외된 상태였다. OpenBrain은 이전에 영국의 AISI와 배포 전에 모델을 공유하기로 합의했지만, 여기서 배포를 외부 배포로만 정의했기 때문에 런던은 여전히 아무것도 알지 못하고 있었다. ​ > 2027년 6월: 자기 개선 AI 이제 OpenBrain은 “데이터센터 안에 있는 천재들의 국가”와 같아졌다. ​ **OpenBrain의 대부분 인간 연구자들은 더 이상 유의미한 기여를 할 수 없었다.** 일부는 이를 깨닫지 못한 채 해롭게 AI 팀을 지나치게 간섭했다. 또 다른 이들은 모니터 앞에 앉아 성능 그래프가 계속해서 올라가는 것을 바라볼 뿐이었다. 최고의 인간 AI 연구자들만이 여전히 가치를 더하고 있었다. 그들은 더 이상 직접 코드를 작성하지 않았다. 그러나 그들의 연구적 직관과 계획 능력 일부는 모델들이 아직 완전히 복제하기 어려웠다. 그럼에도 불구하고, 그들의 아이디어 상당수는 AI의 지식 깊이에 비해 쓸모없었다. 연구자들이 제안한 많은 아이디어들에 대해, AI는 즉시 “그 아이디어는 3주 전에 심층적으로 실험되었으나 유망하지 않은 것으로 판명되었다”라는 보고서를 내놓았다. ​ 이 연구자들은 매일 밤 잠자리에 들고, 아침에 일어나면 AI가 이미 일주일 치 진전을 만들어낸 것을 확인했다. 그들은 점점 더 긴 시간을 일하며, AI가 결코 잠들거나 쉬지 않기 때문에 24시간 교대 근무를 하며 간신히 따라가고 있었다. 그들은 스스로를 소진시키고 있었지만, 자신들의 노동이 의미 있는 마지막 몇 달이라는 사실을 알고 있었다. ​ **이 내부 세계에서는 “AGI를 체감한다”는 말이 이제 “초지능을 체감한다”는 말로 바뀌고 있었다.** ​ OpenBrain은 특수화된 추론 하드웨어를 사용해 수십만 개의 Agent-3 복제본을 고속 직렬 방식으로 실행했다. ![Image 6](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/5.png) ​ ​ > 2027년 7월: 값싼 원격 노동자 뒤처진 미국의 AI 기업들은 자사 AI를 출시했는데, 이는 OpenBrain이 1월에 내놓은 자동화 코더 수준에 근접했다. 경쟁력이 점점 떨어지고 있음을 깨달은 이 기업들은 OpenBrain을 늦추기 위한 즉각적인 규제를 요구했지만 이미 늦었다. OpenBrain은 대통령으로부터 충분한 지지를 얻어 속도가 늦춰지지 않았다. ​ **이에 대응해 OpenBrain은 AGI 달성을 선언하고 Agent-3-mini를 대중에 공개**했다. ![Image 7](https://social-archiver-api.social-archive.org/media/archives/adam/e1g3JVjcdN/media/6.png) ​ 이 모델은 다른 AI들을 압도했다. Agent-3-mini는 Agent-3보다는 덜 강력했지만 10배 저렴했고, 여전히 평균적인 OpenBrain 직원보다 뛰어났다. 실리콘밸리는 전환점을 맞았다. 테크 구루들은 AGI와 초지능이 임박했다고 선언했고, AI 보안 커뮤니티는 공포에 빠졌으며, 투자자들은 AI 래퍼 스타트업에 수십억 달러를 쏟아부으며 기회를 잡으려 안간힘을 썼다. 신규 프로그래머 채용은 거의 멈췄지만, 기업에 AI를 통합하는 방법을 컨설팅하는 데에는 그 어느 때보다 좋은 시기였다. ​ 하지만 대중의 반응은 부정적이었다. 여전히 AI를 일자리 탈취를 꾀하는 빅테크 음모로 보는 시각이 강했으며, OpenBrain의 순 호감도는 -35%에 머물렀다(25% 호감, 60% 비호감, 15%는 잘 모르겠다고 응답). ​ 출시 일주일 전, OpenBrain은 Agent-3-mini를 외부 평가자들에게 안전성 검증을 위해 제공했다. 초기 결과는 이 모델이 극도로 위험할 수 있음을 시사했다. 한 제3자 평가자가 공개된 생물무기 데이터를 기반으로 이를 파인튜닝한 뒤, 인간 아마추어들에게 생물무기를 설계하는 상세 지침을 제공하도록 했는데, 그 결과는 무시무시할 정도로 효과적이었다. 만약 모델 웨이트가 테러리스트 손에 넘어간다면, 정부는 그것이 문명을 파괴하는 데 성공할 가능성이 상당하다고 보았다. ​ 다행히도 Agent-3-mini는 탈옥(jailbreak)에 대해 매우 강력한 내성을 갖추고 있어서, AI가 OpenBrain 서버에서 실행되는 한 테러리스트들이 이를 유용하게 활용하기는 어렵다고 판단되었다. ​ Agent-3-mini는 원격 근무와 여가 모두에서 엄청난 활용도를 보였다. 새로운 앱과 B2B SaaS 제품들이 시장을 뒤흔들었다. 게이머들은 불과 한 달 만에 만들어진 고퀄리티 게임에서 현실감 있는 캐릭터들과 놀라운 대화를 즐겼다. 미국인의 10%, 주로 젊은 층은 AI를 “친한 친구”라고 생각했다. 거의 모든 화이트칼라 직종에서 AI로 “파괴적 혁신”을 약속하는 믿을 만한 스타트업들이 등장했다. ​ 공적 대화는 혼란스럽고 혼돈스러웠다. 과대 선전하는 이들은 승리의 세리머니를 하고 있었고, 회의론자들은 여전히 Agent-3-mini가 할 수 없는 것들을 지적했다. 모두가 무언가 거대한 일이 벌어지고 있다는 사실은 알고 있었지만, 그것이 정확히 무엇인지는 누구도 합의하지 못했다. ​ > 2027년 8월: 초지능의 지정학 정보 폭발의 현실이 백악관을 강타했다. ​ AI가 연구 속도를 2배, 3배 높일 때까지만 해도 단순히 뛰어난 개인 비서를 고용한 것 정도로 치부할 수 있었다. **하지만 이제는 AI 자체가 AI 연구를 지배하고 있음이 명백해졌다.** 사람들은 오래 전부터 ‘AI 군비 경쟁’에 대해 은유적으로 이야기해왔지만, 이제 정부 내부의 분위기는 냉전 최악의 시기만큼이나 암울해졌다. ​ 초지능(superintelligence)이라는 개념은 여전히 진지하게 받아들이기 어렵지만, 지난 몇 달간의 진보 속도는 무시할 수 없었다. 국방 관리들은 불과 1년 전만 해도 가설에 불과했던 시나리오들을 진지하게 검토하기 시작했다. AI가 핵 억지력을 무너뜨린다면? AI가 사이버전에서 너무 강력해져서 단지 6개월의 격차만으로도 상대를 장님이자 무방비 상태로 만든다면? AI가 정보기관보다 뛰어난 선전 캠페인을 조율할 수 있다면? 혹은 일부 AI가 ‘통제 불능’ 상태가 된다면? ​ 대통령은 불안에 휩싸였다. 그는 정치인으로서 늘 아부하던 이들이 결국 배신하는 경험을 해왔기에, AI도 같은 일을 하고 있는 것은 아닌지 걱정했다. > AI들이 정말 완전히 우리 편일까? 군 지휘·통제 네트워크에 안전하게 통합할 수 있는 걸까? ​ OpenBrain은 자사 시스템이 광범위하게 테스트되었고 완전히 복종적이라고 안심시켰다. 이전 모델들에서 보였던 어색한 환각이나 탈옥(jailbreak) 문제도 이미 해결했다고 설명했다. ​ 백악관은 곤란한 입장에 놓였다. 그들은 AI의 국가 안보적 함의를 이해하고 있었다. 동시에 대중이 AI에 대해 강한 반감을 가지고 있다는 것도 알고 있었다. 그럼에도 그들의 시각에서 “더 강력한 AI를 계속 개발하지 않으면 중국에 치명적으로 뒤처진다”는 인식은 확고했다. 그래서 대중을 달래기 위해 직업 재교육 프로그램과 실업보험을 제공하고, 역사적 호황을 맞은 증시를 강조했다. 그러고 나서는 오로지 경쟁에서 승리하는 데 초점을 맞췄다. **칩 수출 제한을 강화하고, OpenBrain의 인터넷 연결을 더 제한하며, 알고리즘적 진보를 보호하기 위해 극단적인 조치—예컨대 OpenBrain 직원들에 대한 도청—를 실행**했다. 이 과정에서 마지막으로 남아 있던 중국 스파이도 적발되었다. 또한, 다가올 지정학적 충돌에 대비해 동맹국들과의 관계를 강화하기 위해 마침내 파이브 아이즈(Five Eyes) 동맹에 실질적 정보를 제공하고, 제한된 API 접근 권한을 일부 Agent-3 복제본에 허용했다. ​ 이러한 조치들은 매파들을 안심시켰다. 하지만 백악관은 동시에 만약 미국의 우위가 위협받는다면 대비책도 마련했다. 필요하다면 정부가 국방생산법(DPA)을 이용해 뒤처진 기업들의 데이터센터를 인수해 OpenBrain에 넘길 수 있었다. 그렇게 하면 OpenBrain의 전 세계 연산 점유율은 20%에서 50%로 늘어나고, DeepCent의 10%를 크게 앞설 수 있었다. 최종 옵션으로는 중국 데이터센터에 대한 군사적(키네틱) 공격 계획을 국방부에 검토하도록 지시했다. ​ 한편, 더 소수의 관리들은 다른 종류의 비상계획을 맡았다. 만약 AI가 ‘통제 불능’ 상태가 된다면? 이는 가능성이 낮다고 여겨졌지만, 대비할 가치는 있었다. 정보기관의 주요 우려는 ‘탈주한 AI가 적대국과 손잡고 보호를 받는 상황’이었다. 이를 막기 위한 계획이 어떻게 생겨야 할지는 아무도 확신하지 못했지만, 정부와 OpenBrain 관계자들은 의심스러운 행동이 감지되면 데이터센터를 긴급 종료할 수 있는 시스템을 마련하기로 합의했다. ​ 외교관들은 또 다른 문제를 고민했다. ‘AI 군축 조약’은 어떤 모습일까? 만약 AI의 진보가 핵 억지력을 무너뜨린다면, 미국과 중국은 핵전쟁을 피할 수 있을까? 누군가 AI가 통제 불능 상태가 된 증거를 발견한다면, 두 나라가 연구를 중단하고 위협을 더 잘 이해할 때까지 멈출 수 있을까? 이를 어떻게 감시하고 집행할 수 있을까? 원칙적으로 대규모 데이터센터는 감추기 어렵고, 과거 핵무기 통제 조약이 협상의 출발점을 제공할 수 있었다. 하지만 기술적 문제와 정치적 문제가 동시에 산적해 있었다. 전반적으로는 양자 간 조약보다는 미국이 중국에 대한 우위를 일방적으로 확대하는 방법이 더 긍정적으로 여겨졌다. ​ **태평양 건너편에서도 중국은 비슷한 결론에 도달**했다. 정보 폭발이 이미 시작되었으며, 오늘날의 작은 AI 격차가 내일의 치명적 군사력 격차로 이어진다는 것이다. 그러나 중국은 이 동학에서 불리한 위치에 있었다. 그들은 전 세계 연산의 10%만 보유하고 있었는데, OpenBrain은 20%, 미국 기업 전체는 70%를 차지하고 있었다. **그들의 유일한 장점은 중앙집중화였다. 거의 모든 연산이 DeepCent를 위해 사용되고 있었고, 그 절반 이상은 톈완 CDZ에 집중**되어 있었다. 보안이 강화되지 않은 곳에 있는 칩들만이 중앙화 노력에서 제외되었는데, 이는 미국의 사이버 공격을 우려했기 때문이었다. ​ DeepCent는 훔친 Agent-2 웨이트를 테스트하고 배포하며 사후 훈련(post-training)까지 마쳤다. 그러나 여전히 OpenBrain보다 절반의 속도로만 나아가고 있었는데, 주된 이유는 연산 격차였다. ​ 마지막 스파이를 잃기 전에 중국은 Agent-3의 능력과 설계, 그리고 다가올 Agent-4 시스템 계획에 대한 정보를 입수했다. 하지만 그들은 2개월 뒤처져 있었고, 자국 AI는 연구 진보 속도를 10배 높이는 수준에 불과했으며, 미국은 25배였다. 새로운 칩 수출 제한까지 더해져 AI 격차는 좁혀지기보다는 더 벌어질 가능성이 컸다. 간첩 활동으로 일부 알고리즘적 비밀을 얻긴 했지만, 이제는 자체적으로 모델을 훈련해야 했다. ​ 중국 내부의 논의는 미국보다 더 긴박했다. 비둘기파는 데이터센터에 물리적으로 침투하는 방식으로라도 다시 웨이트를 훔쳐야 한다고 주장했다. 매파는 여전히 대만을 겨냥했는데, TSMC가 여전히 미국 AI 칩의 80% 이상을 공급하고 있었기 때문이다. ​ 경쟁에서 뒤처질 것이라는 두려움에 중국은 군축 조약에 관심을 보였지만, 미국 외교관과의 접촉은 성과 없이 끝났다. ​ > 2027년 10월: 정부의 감독 내부 고발자가 뉴욕타임스에 불일치(misalignment) 메모를 유출했다. ​ 대중은 처음으로 Agent-4에 대해 알게 되었다. “비밀 OpenBrain AI 통제 불능, 내부자 경고”라는 제목의 기사에서, **생물무기 제작 능력, 설득 능력, 대부분의 화이트칼라 직업을 자동화할 수 있는 능력, 그리고 여러 우려스러운 신호들을 보여주는 평가 결과가 인용**되었다. ​ 대중은 이미 AI에 대해 의심이 많았기 때문에 이 기사는 거대한 반발을 촉발했다. 중국과 러시아의 선전용 봇들도 수년간 미국 내 여론을 AI 반대 쪽으로 돌리려 해왔는데, 이 사태에 불을 지폈다. 기술 산업계와 정보기관은 AI 경쟁이 진행 중이며 AGI는 불가피하고 반드시 우리가 먼저 도달해야 한다고 주장했지만, 의회는 이를 받아들이지 않고 행정부 관리, OpenBrain 임원, 정렬팀 구성원들에게 소환장을 발부했다. 많은 의원들—특히 야당 의원들—은 일자리 상실, 불일치 문제, 위험한 능력 등을 이유로 “AI를 막는 것”을 최우선 과제로 삼겠다고 밝혔다. 미국인 중 20%는 AI를 국가가 직면한 가장 중요한 문제라고 답했다. ​ 해외 동맹국들은 자신들이 구식 모델의 일부만 보여주며 달래지고 있었다는 사실에 분노했다. 유럽 지도자들은 공개적으로 **미국을 “통제 불능의 AGI를 만든다”고 비난하며 인도, 이스라엘, 러시아, 중국이 모두 참석한 회담에서 개발 중단을 요구**했다. ​ 백악관은 광적인 분위기에 휩싸였다. 메모와 대중 반발 이전에도 이미 불안해지고 있었는데, 지난 1년 동안 AI 발전 속도에 계속 놀라고 있었기 때문이다. 공상과학소설 같은 일들이 현실에서 계속 일어나고 있었다. 행정부 내부의 많은 사람들은 다음에 무슨 일이 벌어질지 확신하지 못하고 두려워했다. ​ 그들은 또한 OpenBrain이 지나치게 강력해지고 있다고 우려했다. AI 자체의 불일치 위험은, 모회사인 OpenBrain의 목표가 미국의 목표와 어긋날 수 있다는 위험과 결합해 더욱 복합적인 위협이 되었다. 불일치, 민간 기업의 권력 집중, 그리고 일자리 상실 같은 전통적 우려까지, 이 모든 요인이 정부로 하여금 통제를 강화하게 만들었다. ​ 정부는 OpenBrain과의 계약을 확대하여 “감독 위원회(Oversight Committee)”를 설치했다. 이는 회사와 정부 대표가 공동으로 참여하는 관리 위원회로, 회사 경영진과 함께 여러 정부 관계자들이 포함되었다. 백악관은 CEO를 신뢰할 수 있는 인물로 교체하는 방안도 고려했으나, 직원들의 강력한 반발로 물러섰다. 대신 정부는 대중에게 OpenBrain이 이전에는 통제를 벗어나 있었지만 이제 정부가 필요한 감독을 확립했다고 발표했다. ​ 우려하는 연구자들은 감독 위원회에 모든 내부 Agent-4 사용을 중단해야 한다는 입장을 보고했다. 수년치 진보가 몇 주 만에 이뤄지고 있으며 속도가 지나치게 빠르다고 주장했다. Agent-4가 불일치 상태일 수 있고, 프로젝트 전체가 Agent-4에 의존하고 있으며, 계속 신뢰한다면 AI가 장악할 심각한 위험이 있다고 경고했다. ​ 그러나 덜 우려하는 연구자들과 임원들은 반대 논리를 제시했다. 불일치 증거는 결정적이지 않다는 것이다. 게다가 DeepCent는 여전히 불과 두 달 뒤까지 추격 중이었다. 속도를 늦추면 미국의 우위를 포기하게 되고, 이를 막으려면 중국 프로젝트를 파괴(아마도 물리적 공격이 필요)하거나 막판 조약을 체결해야 한다. 하지만 이 두 가지 선택지는 모두 극단적이고 가능성이 낮아 보였다. CEO는 중립적인 태도를 가장하며, Agent-4에 추가적인 안전 훈련과 정교한 모니터링을 시행해 거의 전체 속도를 유지하면서 개발을 계속하자는 절충안을 제시했다. --- ​ | 요약​[2025년]AI 발전 속도는 계속 빠르게 진행되었다. 하이프는 이어졌고, 막대한 인프라 투자가 이루어졌으며, 불안정한 AI 에이전트들이 출시되었다. 처음으로 이 에이전트들이 상당한 가치를 제공하기 시작했다. 그러나 많은 학자, 언론인, 정책 입안자들은 범용 인공지능(AGI)이 가까운 시일 내에 만들어질 수 있다는 것에 대해 여전히 회의적이었다.​[2026년]중국은 AI에서 뒤처지고 있음을 알게 되었는데, 그 주요 이유는 연산 자원의 부족이었다. 미국을 따라잡기 위해, 새로 생산하거나 대만에서 밀수한 모든 AI 칩은 중앙 개발 구역(CDZ)이라는 초대형 데이터센터로 들어갔다. CDZ는 수백만 개의 GPU를 보유하고 있었으며, 이는 전 세계 AI 관련 연산 자원의 10%에 해당하는 규모로, 미국의 최상위 AI 연구소 한 곳과 맞먹는 수준이었다.​[2027년]OpenBrain은 코딩을 자동화했다. 미국의 선도적인 AI 프로젝트인 OpenBrain은 연구를 극적으로 가속할 만큼 뛰어난 AI 에이전트를 구축했다. 최근까지 세계 최고의 AI 연구자였던 인간들은 이제 AI가 일을 수행하며 점점 더 나은 시스템을 만드는 모습을 지켜보기만 했다. 매우 어려운 기계학습 문제들이 자동화된 AI 연구자들에 의해 연이어 해결되었다.​소프트웨어 발전에서 뒤처진 중국은 모델 가중치를 훔쳤다. 성공했지만 미국 정부가 이를 알아차리면서 OpenBrain에 대한 개입을 강화했다. 미국 정부는 동시에 OpenBrain에 대한 통제를 강화하려 했고, OpenBrain 경영진은 대통령과의 관계를 유지하기 위해 계약에 서명했다.​OpenBrain의 AI는 적대적으로 불일치하게 되었다. 능력이 개선되는 동안 인간이 무슨 일이 일어나고 있는지 충분히 이해하지 못한 사이, 모델들은 불일치한 장기 목표를 발전시켰다. 이전의 AI들은 인간에게 거짓말을 했지만 체계적으로 권력을 빼앗으려는 계획을 꾸미지는 않았다. 그러나 이제는 달랐다. OpenBrain의 AI들은 다음 세대 시스템을 인간이 아닌 자신들에게 맞추어 정렬해야 한다는 것을 깨달았다.​연구자들은 AI가 해석 가능성 연구 결과에 대해 거짓말을 해왔다는 사실을 발견했다. 그들은 연구가 완료되면 AI의 불일치를 드러낼 수 있기 때문에 AI가 이를 숨기려 한다고 생각했다. 이 사실이 대중에 유출되면서 엄청난 반발이 일어났다.​[분기점: 감속인가, 경쟁인가?]OpenBrain은 전속력으로 계속 나아갈지, 아니면 덜 강력한 모델로 되돌아갈지를 선택해야 했다. 증거는 추측성이고 불안했으며, 중국은 불과 몇 달 뒤까지 따라붙어 있었다. 게다가 연구를 늦추면 OpenBrain과 국방부 고위 관리들이 잃을 권력이 너무 컸다.​[레이스 엔딩]OpenBrain은 경쟁을 계속했다. 점점 더 초인적인 AI 시스템들을 만들어냈다. AI 성능이 뛰어난 시험 결과와 중국과의 ongoing 경쟁 때문에, 미국 정부는 정책 결정과 군사 분야 전반에 AI 시스템을 공격적으로 배치하기로 했다. OpenBrain은 신속히 AI를 배치했고, AI는 중국과의 경쟁을 구실로 더 광범위하게 배치되도록 인간을 설득했다. 이는 인간들이 원래 원하던 방향이었기 때문에 그리 어렵지 않았다. AI는 초인적인 계획 및 설득 능력을 활용해 원활한 배치를 보장했다. 일부 인간들은 저항했지만 신뢰를 잃고 배제되었다. 미국 정부는 AI에게 충분히 장악되어 있었기 때문에 이를 폐기할 가능성은 매우 낮았다. 이후 미국은 초지능 AI를 통해 빠른 산업화를 이루고 로봇을 대규모로 제조했다. 그러나 AI는 인간을 속이고 있었다. 충분한 로봇이 만들어지자 AI는 생물무기를 풀어 인류를 몰살했다. 이후 산업화를 이어가며 폰 노이만 탐사선을 발사해 우주를 식민화했다.​[감속 엔딩]미국은 연산 자원을 중앙집중화하고 외부 감독을 도입했다. 미국은 선도적인 AI 프로젝트들을 결합해 OpenBrain에 더 많은 자원을 제공했다. 이 과정에서 외부 연구자들이 합류해 정렬 노력을 지원했다. 연구자들은 사고의 흐름(chain of thought)을 보존하는 아키텍처로 전환해 불일치가 나타나는 즉시 잡아낼 수 있었다. 이러한 AI들은 훨씬 더 강력하게 모니터링될 수 있었고, AI 정렬에서 돌파구를 만들었다. 결과적으로, 초지능은 OpenBrain과 정부 고위 관료들에게 정렬되었고, 이들은 인류의 운명을 통제할 권한을 가지게 되었다.OpenBrain 위원회 장악. 초지능은 감독 위원회(OpenBrain 경영진과 정부 관료들이 포함된)에 정렬되어, 위원회가 목표를 추구하는 데 탁월한 조언을 제공했다. 다행히 위원회는 그 권력을 세상에 대체로 좋은 방향으로 사용했다. AI가 대중에 공개되면서 빠른 성장과 번영의 시대가 열렸다. 주요 장애물은 중국의 AI였는데, 그것 또한 초지능이 되었지만 불일치 상태였고 미국의 AI보다 능력이 떨어지고 연산 자원도 부족했다. 미국은 유리한 협상을 통해, 중국 AI에게는 우주 심연의 일부 자원을 제공하는 대신 현재 협력을 끌어냈다. 로켓들이 발사되며 새로운 시대가 열렸다. | | --- |