0~10분: 이번 주 충격 요약 — DeepSeek-V4 등장

노정석이 "이번 주에 굵직한 소식들이 많았다"면서 시작하는데, 목소리에 진짜 흥분이 섞여 있어. GPT-5.5도 나왔고 구글 행사도 열렸지만 "무엇보다도 중요한 소식은 DeepSeek-V4"라고 딱 못 박아.

영국에서 화상으로 연결된 김성현이 등장하는데, 얘가 연구 전문가라 말 한마디 한마디가 굉장히 신중해. 첫 마디부터 "중국이 pre-training에서 미국을 따라잡았거나 어쩌면 더 나은 부분도 있다"는 얘기를 꺼내. 이게 단순한 의례적 칭찬이 아니라, 진짜로 논문을 뜯어본 사람이 내리는 평가라 더 무겁게 들려.

DeepSeek-V3(=이전 모델)는 600B짜리 모델이었는데, V4는 1.6T로 모델 크기가 약 2.5배 커졌어. 그런데 동시에 비용은 확 줄었다는 게 핵심 모순처럼 들리는 역설이야.

10~25분: Sparse Attention — 이게 왜 대단한 거야?

이 구간이 영상의 심장이야. 김성현이 sparse attention을 설명하는 동안 노정석은 중간중간 "이렇게 하면 될까 싶을 것들을 다 만들어내더라고요 — 연금술 수준"이라고 코멘트해. 기술 전문가인 김성현조차 "왜 이렇게 하면 되는지는 아직 잘 모르겠다"고 솔직하게 말하는 게 인상적이야.

기존 AI는 새 단어를 만들 때 앞에 나온 모든 단어를 다시 확인해야 해 (dense attention). 글이 길수록 확인해야 할 게 제곱으로 늘어나는 구조야. 그걸 sparse attention은 "중요한 것만 골라서 본다"로 해결한 거야. 그런데 "중요한 것 고르는 것 자체"를 AI가 학습하는 게 극도로 어렵거든. 1년 동안 중국 여러 회사들이 도전했다가 다 포기했는데 DeepSeek만 해낸 거야.

결과적으로 V4는 이전 세대보다 모델이 훨씬 큰데도 연산량은 27%로 줄고(3.7배 감소), 메모리는 10%로 줄었어(10배 감소). 노정석이 "이 두 그래프가 이번 V4의 진짜 큰 한 방"이라고 정리해.

25~40분: 학습의 고통과 인프라 전쟁

김성현이 "이 논문에 DeepSeek 팀이 얼마나 고생했는지가 굉장히 잘 드러난다"고 했는데, 이 구간에서 그 증거들이 쏟아져. 학습 불안정성(=AI 훈련하다가 자꾸 이상하게 튀는 현상)이 계속 발생했고, 그걸 막기 위해 온갖 기법들을 동원했어.

그중에 Anticipatory Routing(=몇 step 전의 과거 모델 가중치를 써서 라우팅하는 방법)이라는 게 나오는데, 김성현이 "이게 왜 이렇게까지 해야 했는지 미스터리"라고 해. 다들 이해를 못 하고 있다고. 노정석이 "일종의 regularization(=과적합 방지)이 아닐까" 하고 끼어들면서 두 사람이 추측을 나눠.

인프라 얘기도 엄청 나와. 전력 throttling(=연산 밀도가 너무 높아서 전력이 한계에 달하는 현상)이 걸릴 정도로 GPU를 쥐어짰다는 대목에서 김성현이 "굉장히 낭만적인 이야기"라고 표현해. 그리고 NVIDIA 칩뿐 아니라 화웨이 칩도 함께 썼다는 게 논문에 언급돼 — 중국이 반도체 독립을 실질적으로 실험 중이라는 신호야.

40~55분: Pre-training과 Post-training, 그리고 데이터

데이터 얘기가 나오는데 김성현이 "언급을 전혀 하지 않는다"면서 의아해해. 32T 토큰을 썼다는 것만 나오고 어떻게 모았는지는 블랙박스야.

흥미로운 건 long-context pre-training이야. 일반 모델들은 처음 훈련(pre-training)할 때 짧은 글(4K~8K 토큰)로 시작하고 나중에 긴 글 처리를 얹어. 그런데 V4는 처음부터 64K 이상 길이로 훈련했어. 30T 토큰이 그 길이라는 거야. 이 선택 자체가 앞으로 중국 모델들의 새 기준이 될 것 같다고 두 사람이 동의해.

post-training(=실전 훈련) 얘기도 나와. V4가 아직 post-training에서 아쉬움이 있다는 걸 스스로 인정하는데, 노정석이 "4.1, 4.2 나오면서 이 부분이 해결될 거다"고 예상해. Anthropic이 DeepSeek에게 쿼리를 많이 당했다는 논란도 살짝 나오는데, 김성현은 "distillation보다 비교 벤치마크를 위해서였을 것 같다"고 봐.

55~65분: 이번 주 뉴스 빠르게, 그리고 마무리 선언

최승준이 GPT-5.5, 구글 클라우드 행사, Anthropic 근황을 빠르게 정리해. 모델 업데이트 주기가 Chrome 브라우저 업데이트처럼 그냥 일상이 되는 시대가 오고 있다는 얘기야.

마지막에 노정석이 결정적인 말을 해 — "이젠 AI가 얼마나 좋아졌냐"보다 "이걸 가지고 돈은 어떻게 벌 건데, 고객은 뭘 원하는데"로 관심이 급격하게 이동하는 것 같다고. SaaS 신규 주문이 급감하는 게 그 신호라면서. 앞서가는 사람들은 이미 그 질문을 하고 있다는 거야.