첫 번째 밀레니엄 상 문제, 나비에-스토크스 방정식이 AI에 의해 해결되었습니다.
AI 기반 수학 연구의 새로운 진전에 대한 긍정적인 이야기이자, 동시에 급속한 AI 발전에 대해 경악할 또 다른 기회여야 했을 사건이 불행하게도 발생했습니다.
혹은 우리가 이곳에서 부르는 이름대로라면, 화요일입니다.
진짜 이야기는 Astra보다 더 나은 새 모델이다
본질을 잊지 마세요. 여기에는 세 가지 이야기가 있습니다.
첫 번째 이야기는 두 번째 이야기보다 훨씬 중요하며, 두 번째 이야기는 다시 세 번째 이야기보다 훨씬 중요합니다.
- OpenAI의 다음 모델은 Astra를 한 세대 앞서기까지 일주일이 걸렸고, 그들은 지금 벌어지는 일에 대해 모두가 완전히 경악하고 있기 때문에 이 사실을 알리고 있습니다. 혹은 공식적인 표현으로: ‘우리는 AI 발전 속도와 향후 모델에서 기대할 수 있는 것에 대해 세계에 알리는 것이 중요하다고 믿으며’, 우리는 ‘발전 속도에 대해 보다 신중한 선택을 요구받을 수 있다’고 말합니다.
- 이 새로운 AI는 학습을 시작한 지 8일 만에 나비에-스토크스 문제를 해결했습니다.
- 나비에-스토크스와 관련된 수학의 공로를 누가 인정받아야 하는지를 둘러싼 많은 논란.
Jeffrey Ladish : 나는 나비에-스토크스 문제를 둘러싼 인간 드라마를 자세히 살펴본 적은 없지만, 잠시만 기다려 주세요. 왜냐하면 세상에, AI가 막 밀레니엄 문제를 해결했거든요.
최상위 이야기는 아무리 강조해도 지나치지 않습니다.
나는 여전히 세 가지 이야기를 모두 전달하겠지만, 다시 한번 강조합니다: 본질에 집중하세요.
배경 설명
이 특별한 화요일의 이야기는 아침부터 시작됩니다.
Tristan Buckmaster와 Levent Alpoge는 1년간 작업했으며, 우리에게 놀라운 결과들을 제시했습니다: 비압축성 다공성 매체, 부시네스크 방정식, 그리고 3차원 비압축성 오일러 방정식에서의 부드러운 강제력(finite-time blowup with smooth forcing)을 통한 유한 시간 발산 현상. 또한 그들은 가소산성(hypo-dissipative) 나비에-스토크스에 대한 발산을 증명했다고 믿지만, 해당 결과의 Lean 검증은 아직 완료되지 않았습니다.
Tristan Buckmaster: 이 프로그램이 속한 맥락은 우리가 시작하지 않았으며, 대규모 언어 모델(LLM)이 제안한 것도 아닙니다. 이 프로그램의 기본 아이디어에 대한 공로는 Diego Cordoba와 Luis Martínez-Zoroa에게 있으며, 그들은 수년 동안 강제 발산(forced blow ups) 구성을 탐구해 왔습니다. 우리는 그들의 작업을 출발점으로 삼아 LLM을 사용하여 그들의 프로그램을 완수했습니다.
구체적으로, Levent와 내가 한 일은 거친 강제력(rough forcing)으로 발산 결과를 달성한 Cordoba와 Martínez-Zoroa의 프로그램을 가져와 LLM의 큰 도움을 받아 이를 부드러운 강제력과 비압축성 오일러 방정식으로 확장한 것입니다. 이 공격 라인을 가능하게 한 아이디어들은 Cordoba와 Martínez-Zoroa의 것입니다. 동료들과 사적으로 나눈 말을 명확히 하겠습니다: 이 일련의 연구를 고려할 때, Luis Martínez-Zoroa는 필즈 메달을 받을 자격이 있다고 생각합니다.
지금까지는 좋습니다. 그가 지적하듯, 이는 앞으로 고급 수학 전체가 어떻게 기능할지에 대한 재고를 필요로 합니다. Terence Tao는 기초 결과물에 대한 논평을 제공했습니다.
그다지 좋지 않은 부분은 그들이 조기에 출판해야 한다고 느꼈다는 점이며, 수학자들 사이에서 읽을 만하다고 여겨지는 수준의 증명을 만들기 위해 필요한 몇 주간의 시간을 확보할 기회가 없었습니다. Buckmaster는 보고서의 형태에 대해 직접 사과하며, 특히 오일러 방정식 관련 문서를 AI가 생성한 저품질 콘텐츠(slop)에 비유했습니다.
무슨 일이 일어났을까요?
소문을 들었어
9월 1일, OpenAI는 (잘못된) 소문을 들었습니다: 두 개의 밀레니엄 문제가 해결되었다는 것. 누군가가 세상을 더 나은 곳으로 만들 가능성을 대비하여, OpenAI는 추론 비용으로 수백만 달러를 지출하며 모든 미해결 밀레니엄 문제를 탐색했고, Astra보다 강력한 내부 모델을 사용하여 88시간 만에 나비에-스토크스 문제를 완전히 해결했으며, 추가로 17시간을 들여 Astra가 Lean 형식화 및 검증을 수행하도록 했습니다.
이를 ‘OpenAI가 자신의 새로운 아기가 무엇을 할 수 있는지 궁금해서 호기심을 보였다’고 볼 수도 있고, ‘자신들이 생각했던 Anthropic 프로젝트를 선점하기 위해 수백만 달러를 썼다’고 볼 수도 있습니다. 내 생각에는 A열과 B열에서 조금씩 섞인 결과일 것입니다.
필요했던 것은 단지 그 소문뿐이었습니다.
가격은 저렴함
OpenAI : 시도한 모든 문제 전반에서 에이전트들은 490만 개의 메시지를 전송하고 약 3000억 개의 출력 토큰을 사용했습니다. 나비에-스토크스 문제를 해결하는 과정에서 에이전트들은 270만 개의 메시지를 전송하고 약 1300억 개의 출력 토큰을 사용했습니다.
어떤 비용을 포함하느냐에 따라, 이는 일반 고객 기준으로 약 2,200만 달러가 소요되었거나, 내부 한계 비용으로는 수백만 달러 수준이었을 것입니다. 효과가 있다면 작은 가격이지만, 사람들이 두 단계 앞을 내다보지 못하는 점이 얼마나 미친 짓인지도 놀랍습니다.
roon (OpenAI): 다른 모든 기술과 마찬가지로, 당신의 동등한 에이전트 스웜은 1년 안에 1달러 50센트 정도가 될 것입니다. 오늘날의 비용과 관계없이 이 모든 것은 전례 없는 계몽 시대를 의미할 것입니다.
내 말은, 아니 아마 15만 달러나 운이 좋으면 1만 5천 달러 정도겠지만, 요점은 유효합니다.
Sam Altman (OpenAI CEO): 으음, AI는 정말 거품이야. 토큰을 손해를 보며 판매한다는 말을 들었는데, 이게 겨우 100만 달러 가치밖에 안 된다는 걸 알았을까?
밀레니엄 상 결과는 백만 달러보다 훨씬 더 큰 가치를 지닙니다. OpenAI는 상금을 청구할 의도가 없습니다. 이것은 누구에게나 상금에 관한 것이 아니었습니다. 항상 공로에 관한 것이었습니다.
고발이 이루어지다
인터넷 소문을 들은 후, Buckmaster는 OpenAI에 연락했고, Buckmaster에 따르면 OpenAI의 Sebastien Bubeck은 지난 며칠간 내부 OpenAI 모델이 강제된 나비에-스토크스 방정식의 유한 시간 발산에 대한 증명을 산출했다고 말했습니다. Buckmaster는 두 차례의 통화 과정에서 처음에 자신이 오도되었음을 알게 되었으며, 전체 팀이 ‘미친’ 양의 컴퓨팅 자원을 사용하여 문제에 임하고 있었음이 분명해졌다고 주장합니다.
우리는 이제 이것이 출력 토큰 기준 1300억 개 또는 3000억 개임을 압니다. 어떤 것을 계산하느냐에 따라 다릅니다.
이 부분이 사실이라면, 꽤 심각한 상황입니다.
Tristan Buckmaster: 나에게 두 가지 제안이 있었습니다.
첫째는 우리가 오일러 결과를 게시하고, OpenAI는 다음 날 나비에-스토크스 결과를 게시하는 것이었습니다.
둘째는, 오일러 결과를 게시한 후, 나 혼자서 내부 OpenAI 모델이 이를 해결했음을 인정하면서 나비에-스토크스 결과를 제시하는 논문을 작성하는 것이었습니다. Sebastien은 Levent를 저자 목록에서 제외하기를 두 번이나 주장했으며, 만약 Levent가 Anthropic에서 근무하지 않는다면 모든 것이 간단했을 것이라고, 그것이 매우 짜증난다고 말했습니다. 또한 OpenAI가 우리보다 나중에 게시한다면, 우리가 클레이 상을 받을 자격이 있으며 우리가 ‘문제에 가장 가까운 인간들’이라고 말할 것이라고도 했습니다. 나는 두 제안 모두를 거절했습니다.
나는 OpenAI가 제안된 방식으로 결과를 발표한다면, 무슨 일이 있었는지 공개하겠다고 말했습니다. 답변은 “왜 당신의 커리어를 망치려 합니까?”였습니다. 나는 학자라고 답하며, 왜 공개하는 것이 내 커리어를 망친다고 생각하는지 물었습니다. 답변은 “내가 친절하게 대하지 않기를 원한다면, 나도 친절할 필요가 없다”였습니다… 내가 주장하지 않는 바를 명확히 하고 싶습니다. 나는 OpenAI의 증명을 본 적이 없습니다. 그들의 모델이 무엇을 했는지, 어떻게 했는지 모릅니다. 우리의 데이터가 사용되었는지도 모릅니다. 나는 아무도 고발하지 않습니다. 내가 언제 무엇을 들었고, 무엇이 제안되었는지를 진술할 뿐입니다. 그렇게 하는 이유는, 일련의 발표들이 내가 거짓임을 아는 내용을 말하도록 방치하는 것보다는 낫기 때문입니다.
또는 Levent Alpoge가 그의 관점에서 이야기를 전하고, Sebastien이 응답하는 내용은 다음과 같습니다:
levent : “우리의 제품 사용을 통해 파생된 식별 불가능한 데이터가 모델 개선에 도움이 되었다는 가능성을 배제할 수 없습니다.”
솔직히 털어놓은 점은 칭찬할 만합니다.
(현재까지의 증명은 우리가 가지고 있던 다른 오일러 발산 증명과 유사한 라인으로 보입니다. Tristan이 만든 “ideal fluids explode”라는 훨씬 좋은 명칭과 달리, 우리는 그 ansatz 명명법에서 “smooth criminale” 같은 멍청한 말장난을 하고 있었습니다.)
그래서 여기서 제 생각을 조금 말씀드리겠습니다. 사실 저는 이 프로젝트에 협력하게 되어 기쁠 뻔했습니다. OAI에는 제가 좋아하는 사람들이 많으니까요 (물론, 전체 상황의 일부로서 간접적으로 저에게 무례하게 군 사람들도 있지만, 저는 어른이니 여전히 그들을 좋아합니다). 그 단계에서의 저자 권한에는 전혀 신경 쓰지 않습니다. Tristan과 OAI의 모든 FTE(Full-Time Employee)가 함께해도 상관없었습니다 (Tristan은 이에 동의하지 않을 겁니다 :p). 하지만 복도에서 큰 소리로 대화하는 것을 듣게 되었고, 특히 밀레니엄 상을 받기 위해 나를 논문에서 제외하라는 제안이 나온 부분을 듣고 나서는, 이미 판이 정해지고 상황이 고정되었음이 분명했습니다. 꽤 기괴하고, 전략적이지 않으며, 불필요한 일이었습니다. 제 쪽에서는 대부분 기관 차원의 작업이라기보다는 구석에서 Claude와 함께 무작위 시도(yoloing)를 하며 즐거운 시간을 보내는 정도였기 때문입니다. 저는 실험실들이 협력하는 아이디어, 특히 과학적 진전을 위한 협력을 좋아합니다. 안타까운 일입니다!
Sebastien Bubeck : 아무것도 고정된 것은 없었습니다. 우리는 그저 대화할 준비가 되어 있었을 뿐인데, 당신들은 우리와 대화하지 않았습니다... 죄송하지만 그건 사실이 아닙니다. 우리는 해결책에 도달하기 위해 당신이 원했던 만큼의 토론을 포함하여 그 이상을 하려고 했습니다.
Sebastien은 자신이 잘못된 일을 하지 않았다고 강하게 부인하며, Noam Brown도 마찬가지이고, Sebastien은 선의를 입증한다고 주장하는 스크린샷을 제공합니다.
또한 반박 고발도 있습니다:
Alexey Guzey : Anthropic에는 친구들이 많습니다. 거의 모든 사람이 제가 OpenAI에 가입하자 저와의 대화를 중단했습니다.
Levent가 Sebastian과 발표 계획을 논의하기 위해 대화하는 것을 거부하고, 그 후 OpenAI를 비난하기 시작한 것은 전혀 놀라운 일이 아닙니다.
Sam Altman도 자신의 팀이 윤리적으로 행동했다고 강하게 주장하며, 선의로 협력을 시도했다고 밝혔습니다.
그 아이디어는 어디서 나왔나요?
많은 이들이 도출한 함의는, OpenAI가 Codex 채팅 로그에서 결과의 일부를 훔쳤거나, 채팅 로그가 학습 데이터에 사용되어 결과에 기여했다는 소프트한 고발이 있었다는 것입니다.
Charles 🔸
: 대기업들이 ZDR(Zero Data Retention)을 원하는 이유, 사례 A
OpenAI: 가능성은 낮지만, 우리의 제품 사용을 통해 파생된 식별 불가능한 데이터가 모델 개선에 도움이 되었다는 가능성을 배제할 수 없습니다.
모델 성능 향상을 위한 데이터 사용 정책 . 그러나 우리의 증명은 크게 다르며, 오일러 경우(강제 vs 비강제)에서 증명된 정확한 결과조차도 다릅니다.
Codex 데이터가 학습 실행에 어떠한 방식으로도 사용되지 않았다는 명시적인 확인이 이제 있습니다:
roon (OpenAI): 첫 번째 발표 당시 통화를 했는데, Codex(옵트인) 데이터가 어디에 사용되었는지, 그리고 학습 실행에 포함되었는지 조사하지 않은 상태에서 매우 정확한 법률적 진실을 말하려고 애쓰는 사람들이 있었습니다. 지금은 그것이 불가능했을 것이며 확률은 0임이 분명합니다.
Sholto Douglas와 마찬가지로, 어느 쪽이든 사용자 데이터가 여기에 영향을 미쳤을 가능성은 극히 낮다고 생각합니다:
will depue : OAI 연구원들이 Tristan의 개인 Codex 채팅을 엿봤을 가능성은 문자 그대로 없습니다. 여러분은 OpenAI가 다른 대형 규제 대상 온라인 플랫폼처럼 사용자 데이터 접근 권한을 매우 엄격하게 통제하고 있다는 점을 깨닫지 못하는 것 같습니다. 2010년이 아닙니다.
Sholto Douglas (Anthropic): 참고로, 사용자 데이터가 여기에 영향을 미쳤을 가능성은 _극히_ 낮다고 생각합니다. OAI가 이를 위해 사용자 트랜스크립트를 가져오거나, 이것이 영향을 미칠 수 있는 방식으로 알고 훈련했을 리가 없습니다. 사람들이 ‘Codex에서 사용자 데이터가 안전하지 않다’고 과잉 반응하는 것은 매우 중요하다고 생각합니다 - 외부에서 가정할 수 있는 모든 것을 바탕으로 보면 그것은 분명히 안전합니다.
OpenAI는 거의 확실히 사용자 데이터를 유용하지 않았습니다
만약 OpenAI나 Anthropic가 경쟁 우위를 얻기 위해 누군가의 사용자 데이터를 탈취했다는 사실이 드러난다면, 그것은 지진과도 같을 것이며, 아마도 사업상 최악의 시나리오일 것입니다. 그리고 이러한 전제 없이 사실들이 더 잘 맞습니다. Jerry Tworek의 가장 재미있는 가설은, OpenAI가 그런 데이터를 사용할 의도는 없었지만, 문제에 할당된 에이전트 스웜이 해킹하여 어쨌든 데이터를 획득했고 OpenAI는 그 사실을 모른다는 것입니다. 나는 이것도 매우 가능성이 낮다고 생각하지만, 슬프게도 배제할 수는 없습니다.
나의 강한 추정으로는, 사용자 데이터가 의도적으로 접근되지 않았으며, 그들은 절대 그럴 리 없고(또는 적어도 한 번만 할 수 있음을 인식하고 있으며 이번이 그 한 번이 아님), 또한 사용자 데이터는 별다른 도움이 되지 않았을 것이라는 점입니다.
Thane Ruthenis는 이전에 학교 총격 사건이 있었는데, 그때 (매우 합리적으로) 로그가 검토되었고 법 집행 기관에 통보할 것인지에 대한 내부 논쟁이 있었다고 지적합니다. 그것만으로도 일부 사용자에게 소름 끼치는 반응을 일으켰습니다. 그들은 어디에서 선을 그을 것인가? 그리고 예, 실험실에 데이터를 제공한다면 데이터와 로그가 비공개로 유지되지 않을 수 있음을 이해해야 합니다. Andreas Thorn이 하고 있듯이, 당신의 독창적인 연구나 수학 데이터가 비공개로 유지되었는지 의심하는 것은 합리적입니다.
나는 여전히 반복합니다. 실제로 OpenAI가 그러한 데이터를 의도적으로 봤을 확률은 매우, 매우 낮다고 봅니다. 위험 대비 보상이 너무, 너무 나쁘기 때문입니다. 그리고 Roon의 후속 보고에 따르면, 이제 로그가 학습 데이터에 도달할 수 없었음이 확인되었다고 믿습니다.
우리 최상위 실험실들은 기분 좋은 수학 이야기에서도 협력하지 못한다
누가 잘못했든 아니든, 실험실들이 수학 증명의 공로 인정과 같은 것에서도 협력하지 못한다는 점은 상당히 충격적입니다. 이는 매우 나쁜 신호이자 경고입니다.
Sholto Douglas (Anthropic): 이것이 실험실들이 어떻게 협력/조정할 수 있는지에 대한 사례로 끝나지 않은 것은 매우 슬픈 일입니다. 왜냐하면 미래에는 이해관계가 훨씬 더 높아질 것이기 때문입니다.
Noam Brown (OpenAI): 전적으로 동의합니다. 실험실들 사이에 라이벌 의식이 있다는 것은 알지만, 다가올 상황에 비추어 볼 때 우리가 함께 일하는 법을 배우는 것이 중요합니다.
Sholto Douglas (Anthropic):
🤝
Kevin Roose : 이 실험실들(특히 OpenAI/Anthropic 및 OpenAI/DeepMind)은 외부에서 보이지 않을 정도로 서로에 대한 악의에 의해 추진되고 있습니다. 부분적으로는 ‘이 유명한 수학 문제의 공로를 누가 차지하느냐’ 같은 것 때문이고, 부분적으로는 지도자들 간의 개인적인 적대감 때문입니다.
AGI 경쟁에 대한 책을 쓰는 사람으로서, 이 모든 것은 훌륭한 드라마 소재입니다. 하지만 궁극적인 목표가 안전과 속도 조절에 있어 실험실들의 협력이라면, 이는 좋은 일이 아닙니다!
계속되는 불화는 큰 문제이며, 점점 더 커질 것입니다.
다음은?
나비에-스토크스에 효과가 있었다면, 다른 무엇에도 효과가 있을까요? 알아볼 시간입니다.
Nat McAleese (Anthropic): 나비에-스토크스는 놀라운 성취이며, 훌륭한 진전을 반영합니다. 거대한 OAI 스웜은 다른 과학 분야에도 적용되어야 합니다. 이상적으로는 정렬(alignment)을 포함한 단기 응용 분야에 말이죠.
이는 실제로 진행 중인 것으로 보고되며, P=NP와 같은 재미있는 질문들도 포함됩니다. 만약 이것이 건설적으로 참임이 증명된다면, 많은 것들이 무너질 것입니다. OpenAI의 역사를 고려할 때, 이러한 에이전트 스웜이 점진적인 단계로 무엇을 할 수 있을지에 대해 걱정할 가치가 있습니다.
수학자들은 행복하지 않다
수학 문제를 푸는 것은 그들의 전부입니다. 그러나 그들은 매우 불행합니다.
Andrew Curran : 25명의 필즈 메달 수상자들이 AI 기업들과 수학 커뮤니티 사이의 심각한 정렬 불일치(misalignment)에 대해 경고하는 공동 선언문을 발표했습니다.
Math and AI (Terence Tao를 포함한 25명의 필즈 메달 수상자 서명): 지난 몇 달간 LLM의 수학 능력은 극적으로 향상되어, 여러 수학 분야의 주요 미해결 문제를 해결할 수 있게 되었습니다. 그러나 AI 기업들이 벤치마크로 수학 문제를 해결하려는 노력은 수학이라는 학문과 수학 커뮤니티에 해롭습니다. AI 기업의 목표와 수학 커뮤니티의 목표는 심각하게 정렬되지 않았습니다. 우리는 이것이 다른 과학 및 창의적 직업군과 사회 전체에 영향을 미치는 더 넓은 정렬 문제의 일부라고 봅니다.
… 유명한 문제들은 종종 이 풍경에 대한 이해의 향상을 측정하는 기준점이자 등대 역할을 해왔습니다.
… 최근 몇 달간, AI가 주요 수학 문제를 해결한 성공은 수학계 밖에서도 헤드라인을 장식했습니다. 그러나 문제를 푸는 것은 개념적 이해와 통찰이라는 주요 목표를 달성하기 위한 도구이자 대리 지표일 뿐입니다.
… 이러한 해결책들은 종종 적절한 문서화, 새로운 방법과 아이디어의 분리, 그리고 타인의 관련 선행 연구 인용을 위한 시간 없이 급하게 발표됩니다. 모든 창의적 직업과 마찬가지로, 이는 심각한 귀속 및 표절 문제를 야기합니다.
이는 실험실 행위에 대한 구체적인 불만 위에 놓인 일반적인 불만 사항입니다.
아니요, 수학 문제의 목적은 수학 문제를 푸는 것이다라고 반박할 수 있으며, 수학자들은 AI가 그들의 지위 게임을 방해하는 것에 분노하고 있다고 말할 수 있습니다. 물론 일어나는 일의 일부이지만, Tyler Cowen처럼 나는 그렇게 냉소적이지 않으며, 그와 달리 ‘조금의 인내가 필요하다’거나 피해가 발생한 후에야 이의를 제기할 수 있다고 생각하지 않습니다. 사람들은 외삽(extrapolate)할 수 있습니다. 수학자들이 그래프에 직선을 잘 긋는다는 것을 알고 있었나요?
여기에는 실제 불만이 있습니다. 재능 있는 사람들이 다른 일을 하면 훨씬 더 많은 돈을 벌 수 있음에도 불구하고, 매우 적은 돈으로 장기간 실제 수학을 하고, 진정한 수학 직관과 개념 숙달을 개발하도록 하는 것은 쉬운 일이 아닙니다. 만약 당신이 ‘그들의 지위 게임을 빼앗고’, 또한 훨씬 더 중요한 그들의 즐거움, 성취감, 우아함, 아름다움을 빼앗는다면, 그 다음은 어떻게 됩니까?
Robin Hanson은 그렇다면 우리는 인센티브를 수정하고 수학자들에게 더 잘 보상해야 한다고 제안합니다.
Robin Hanson : "AI가 이미 근본 정리를 증명하거나 반증했더라도, '수학적 이해의 중요한 빈칸을 채우는' 사람들에게 지위, 급여, 승진을 수여하는 것을 수학 커뮤니티가 막을 방법은 없다."
그는 ‘just(단순히)’라는 단어를 사용하지 않지만, 이것은 분명히 ‘just’입니다. 즉, 만약 사람들이 단순히 [X]를 한다면, 그리고 우리가 모두 알다시피 인간들은 결코 단순히 해본 적이 없으며 지금 시작할 생각도 없습니다. 이것은 인간이 실제로 할 만한 일이 아닙니다. 심지어 그는 몇 시간 후 깨달았습니다:
Robin Hanson : 실제로 수학 학술 커뮤니티가 정리를 증명하는 것 이외의 방식으로 누가 수학에서 '빈칸을 채웠는지' 판단하기 위해 조정하는 것은 훨씬 더 어려운 일인 것으로 보입니다. 수학은 증명 평가에 중점을 두고 강력하게 조정되어 왔으며, 다른 것들에 대해 합의하는 방법을 많이 개발하지 않았습니다.
우리는 빈칸을 채우고 우아함을 개선한 사람들을 위한some 보상을 얻을 수 있고 얻을 것이지만, 그것은 동일하지 않을 것이며, 최고로 봐도 헤라클레스적인 노력이 될 것입니다.
Scott Armstrong은 이것이 결과의 변화가 아니라 질서의 변화라고 주장합니다. 인간 수학자들은 증명을 이해하는 데 몇 주가 걸리겠지만, 결국 이해를 하게 될 것입니다. 과거에는 이해가 증명에 선행했지만, 어느 쪽이든 이해를 얻게 됩니다. 그것이 중요합니다. 그는 사람들이 분노하는 이유는 기계가 자신들보다 똑똑하다는 사실이라고 생각합니다.
항상 그렇듯이, AI는 학습과 미학습 모두를 위한 최고의 도구입니다. 수학자들은 자신들이 ‘미학습’ 모드, 즉 AI에게 숙제를 맡기는 상태로 강요받고 있으며, 그것을 좋아하지 않는다고 말합니다. 왜냐하면 실제로 숙제가 가르쳐 주기 때문입니다.
누가 신경 쓰냐고, AI가 최전선 수학을 하는 것은 괜찮다고 말할 수 있습니다. 네, 많은 사람들이 여전히 하루 종일 수학을 하고, 추한 AI 결과물의 우아한 버전을 찾는 등의 일을 하기를 원할 것이라고 생각합니다. 하지만 그것은 동일하지 않을 것입니다.
OpenAI의 새 모델은 학습 4일 만에 Astra를 뛰어넘는 단계적 변화를 보였다
이제 이야기의 가장 중요한 부분입니다.
RIP 다양한 OpenAI 학습 일시 중지 기간, 2026년 6월 22일부터 2026년 8월 28일까지.
roon (OpenAI): 내 기록에 따르면, 6월 22일(Hugging Face)부터 8월 28일까지의 기간은 프런티어 모델 학습 일시 중지가 한 달 이상이었다.
8월 18일, OpenAI는 프런티어 RL(강화 학습)을 2주간 일시 중지했으며, 계획된 가장 큰 학습 실행은 계속 보류 중이라고 밝혔습니다. 그런 다음 8월 28일, OpenAI는 Astra를 모든 측면에서 빠르게 능가하는(자체 보고서 기준) 다른 모델의 학습을 시작했는데, 이는 이제 모든 골치 아픈 감독, 인프라 및 정렬 문제를 해결했기 때문이며, 불과 4일 만에 ‘단계적 변화(step change)’가 관찰되었습니다:
두렵습니까? 두려워해야 합니다. 그 모델은 여전히 학습 중이며, 2주 미만 동안 학습되었으며, 특히 수학을 목표로 하지도 않았습니다.
That is all we know about the model. That is enough, when we combine it with the repeated stories of OpenAI and people at OpenAI virtuously freaking out over its alignment and other problems, and over the pace of AI progress, in a preference cascade.
And we also combine it with OpenAI dropping so many pieces of alarming information, that it could have avoided dropping, because they very much need us to understand the situation. The Astra model card counts here, so does An Alien Mind, so does Paul Christiano’s statement, so do the reactions to the HuggingFace attack including Pacing the Frontier.
And so does the OpenAI report on recursive self-improvement (RSI), which is the next section.
OpenAI and Anthropic have entered the RSI era.
OpenAI의 연구 진전은 OpenAI의 연구 진전으로 인해 가속화되고 있다
OpenAI는 최근 여러 가지 사항에 대해 공개적으로 언급하고 있다.
가장 중요한 문제는 AI 연구 개발(R&D)의 가속화와 자동화다. 이것이 우리를 죽일 가능성이 가장 높은 것, 가장 무서운 것, 모든 실험실 직원들이 경고하는 것이자, OpenAI와 Anthropic 모두 가능한 한 빨리 추진하고 있는 것이다.
그들은 이에 대한 보고서도 제공했다. Tejal Patwardhan의 의견에 동의한다. 이는 훌륭한 투명성이다.
OpenAI (9월 6일, Research Acceleration: The View Inside OpenAI): 우리는 인간 감독 하에서 작동하며 딥러닝 및 정렬(alignment) 분야의 진전을 위해 반복적 개선을 가능하게 하는 자동화된 AI 연구자를 안전하게 구축하는 것을 목표로 한다.
우리의 측정 결과에 따르면,
올해 9월까지 자동화된 연구 인턴을 보유하겠다는 목표를 달성했다.
이 목표는 지난 가을에 발표된 바 있다.
… 진행이 용납할 수 없는 안전 위험을 초래한다고 판단될 경우, 개발 또는 배포를 늦추거나 중단하는 것을 포함하여 적절히 대응할 것이다.
… 우리와 다른 기업들도 RSI 달성을 향한 진전을 공개적으로 추적해야 한다고 믿는다.
Navier-Stokes 방정식 증명 발표에서 드러난 타임라인과 이를 대조해 보자. 그들은 8월 28일에 새로운 모델의 학습을 시작했다.
한편, 그들은 타임라인상 별개의 내부 모델인 것으로 보이는 연구 인턴을 보유하고 있다고 믿는다. 다음 주에는 무엇을 갖게 될까? 다음 달에는? Anthropic은 무엇을 가지고 있을까?
OpenAI는 고도로 유능한 AI가 큰 상방 잠재력을 제공한다고 설명하지만, 물론 그렇다. 그것이 모두가 그렇게 빠르게 가려고 결심한 이유는 아니다. 그들은 경쟁 중이다.
이는 최근 OpenAI와 그 직원들로부터 나온 수많은 호소 중 하나이며, ‘이 광기를 끝내기 위해 협력해야 한다’는 메시지와 상당량의 ‘누군가 나를 막아줘.’라는 표현이 결합되어 있다.
OpenAI : 이러한 이유들은 유용한 자동화된 연구 기능을 개발해야 할 근거이지만, 빠른 RSI가 반드시 우리가 추구해야 할 결과임을 의미하지는 않는다. 진행 여부와 방법은 인간의 통제 유지 능력과 혜택 및 위험에 대한 정보에 입각한 민주적 선택에 달려 있어야 한다.
우리는 아직 정렬된 완전한 RSI까지 안전하게 도달하는 방법을 알지 못한다. 우리는 기능(capabilities)과 함께 정렬 및 안전 조치를 확장하기 위해 노력하고 있다. 그러나 정렬과 안전에서의 진전이 속도를 맞출 것이라고 가정할 수 없으며, 더 유능한 시스템은 모니터링하기가 더 어려워질 수 있다.
신중한 정렬 및 안전 작업은 이 노력의 중심에 있으며, 현재 에이전트 코딩 시스템에서 목격되는 안전 문제를 측정하고 완화하는 것에서 시작된다.
나는 평범하거나 현재의 문제가 주요 이슈라는 견해에 다시 한번 반대하지만, 그렇다, 그들은 우리에게 경고하고 있다. 반복적으로 (기업 용어를 조금 풀어내면):
- OpenAI와 Anthropic은 재귀적 자기 개선(RSI)으로 가는 경로를 가지고 있다.
- 만약 둘 중 하나가 지금 이를 시도한다면, 아마도 끔찍한 결과가 발생할 것이고 모두가 죽을 것이다.
- OpenAI는 어느 정도의 비용이 드는 신중함을 발휘할 준비가 되어 있지만, 한계가 있으며, 합의나 법 없이 누군가는 곧 이를 시도할 것이다.
게시물의 대부분은 Astra가 내부적으로 온라인 상태가 된 이후 최근 몇 달간 OpenAI에서 RSI 진전에 에이전트 시스템이 얼마나 기여했는지에 대한 상세한 스냅샷이다. 답은 꽤 많다.
오히려 놀라운 점은 사용량이 그렇게 오랫동안 낮게 유지되었다는 사실이다:
OpenAI : 올해 초 OpenAI에서 에이전트 사용량 기준으로 중앙값에 해당하는 연구원은 코딩 에이전트를 소량으로만 사용했다. 8월 중순까지 중앙값 연구원은 에이전트를 일상 업무에 통합했으며, API 가격 기준 하루 $600 이상의 추론 비용을 사용했다. 우리 연구 조직의 90퍼센타일 사용자는 이제 하루 $7,000 이상의 토큰을 사용한다.
OpenAI : 2026년 6월 이전까지 연구 조직 전체의 총 에이전트 런타임은 여전히 총 인간 노동 시간보다 낮았다. 하지만 그 이후로 상황이 변했다. 표준 8시간 근무일을 기준으로 할 때, 8월 중순 현재 연구 조직은 인간 노동 1근무일당 총 3.1 에이전트 근무일의 노력을 사용하고 있다.
그들은 자랑하는 것도 아니고, 고백하는 것도 아니다. 그들은 경고하고 있다.
여기서의 이진법 측정은 실제보다 가속도가 덜한 것처럼 보이게 만들 가능성이 높다:
수십 개의 탭과 수십 개의 활성 게시물 초안을 열어둔 나로서는, 인간이 동시에 4개 이상의 워크플로우를 제대로 처리할 수 있을지 궁금하다.
알고 보니 이것은 겉보기만큼 인상적이지 않다. 왜냐하면 그들은 서브 에이전트(subagents)를 워크플로우로 계산하고 있기 때문이다. 중앙값 연구원이 하루 $600을 사용하는 동안에도 여전히 intense usage(집중적인 사용)를 하지 않는 30%가 존재한다는 사실은 더욱 놀랍다.
Claude Code와 이어 Codex가 큰 영향을 미치기 시작한 시점부터 코드 출시와 실험이 빠르게 가속화되고 있다.
최근까지 AI의 대부분 용도는 연구 및 인프라 코드 구축이었으며, 나머지 작업은 주로 인간이 수행했다. 이제 AI는 런(launching), 모니터링, 디버깅, 기술 지원 및 리뷰에도 많은 작업을 수행하며, 결과 분석 등 다른 영역으로도 확장되고 있다.
그들은 우리의 직업을 빼앗았다. ‘인간 트러블슈터’ 버전으로:
유명한 METR 그래프의 또 다른 변형이다. 생산 환경의 작업을 포함하며, 정적 스크린샷으로는 읽기 어렵지만 진전은 빠르다. 이것은 년 단위가 아니다. 월 단위다:
OpenAI의 일시 정지(Pause)를 정량화하기
그들은 RL 컴퓨팅 지출의 시간 경과에 따른 그래프를 가지고 있다. 7월 20일 이전에 Astra가 거의 사용되지 않았다는 사실에 놀랐지만, 어쨌든 그렇다. 그들이 이 그래프를 현재까지 연장하지 않은 점이 눈에 띄며, 아마도 시간이 지남에 따라 Astra 사용량이 다시 증가했을 것이다:
세상이 끝나가는 방식
새로운 모델의 학습을 시작한 지 불과 며칠 만에 Navier-Stokes 방정식을 증명하기 위해 군집(swarm)을 사용했는데, 이것이 심각한 통제 상실 사고의 위험을 감수한 것인가? June Jimenez는 그렇다고 주장한다.
테스트할 수 없었던 새로운 모델의 10,000개 에이전트로 구성된 군집을, 불가능할 수도 있고 확실히 극도로 어려운 과제에 투입하고, 총 3,000억 개의 토큰을 collectively(집단적으로) 할당한다면, 무엇이 더 일어났을 수 있겠는가? 나는 분명히 ‘어쩌면 OpenAI에 해킹하여 로그를 가져왔을지도 모른다’고 생각했지만, 가능성은 너무 많다.
빨리, 시간이 없다
전직 실험실 직원인 Andrew Ho가 ‘3개월 이상의 기간 동안 내 생산성이 100% 이상 증가했다고 생각하지 않으며, 산만함 때문에 50%조차 늘지 않았을 수 있다’는 이유를 들어 비관적(bearish)이라고 말할 때, 이것이 사실이라 해도 전혀 안심할 수 없다. 3개월마다 생산성이 겨우 50%만 증가하는 것을 비관적이라고 생각하는 상황을 상상해 보라.
그는 Greg Brockman이 ‘AGI 시대에 오신 것을 환영합니다’라고 말한 바로 같은 날에 ‘설령 AGI가 궁극적으로 달성 가능하다 해도, 이는 훨씬 더 긴 타임라인을 시사한다’고 말하고 있다.
더욱이, 이러한 수준의 수학 진전은 몇 주 전에는 예상되지 않았다.
이러한 문제 중 하나가 해결될 때마다 사람들은 그것이 그리 놀라운 일이 아니었다는 식으로 사후적으로(retcon) 해석하려 한다. 그들은 종종 틀린다. 아니, 대부분의 사람들, 심지어 대부분의 예측가들도 이것이 일어날 것이라고 가정하지 않았다. 어쩌면 당신은 했을지도 모른다. 결국, 당신은 매우 똑똑하니까.
Henry Shevlin : 올해 4월만 해도 예측 시장은 AI가 2030년 이전에 밀레니엄 프라이즈 문제(Millennium Prize Problem) 중 하나라도 해결할 가능성을 40% 미만으로 부여했다.
