0~15분: "우리가 오늘 왜 이 어려운 걸 하는지" — 배경 세팅

노정석이 연휴 사이에 Dwarkesh 팟캐스트 새 에피소드를 3일 동안 공부했다고 밝히면서 시작해. Dwarkesh가 갑자기 칠판 들고 나타나서 판서로 강의하는 포맷으로 바꿨대 — 그 내용이 너무 좋았다고. 주제는 "LLM 추론 인프라" — 쉽게 말해 AI 모델을 실제로 돌릴 때 안에서 무슨 일이 일어나는지야.

노정석이 이렇게 말해. "저만 하더라도 GPT-5.5에 x-high 걸고 코드 넣고 작업하는데 워크로드가 상당해요." Claude Code, Codex 같은 에이전트 도구들이 퍼지면서 이제 AI에 수만 토큰씩 집어넣는 게 일상이 됐거든. 그러니까 "모델 학습"보다 "모델을 어떻게 굴리냐"가 훨씬 중요해진 시대가 왔다는 거야.

DeepSeek 지난 편 얘기도 잠깐 나와. DeepSeek V4가 연산량 3분의 1, 메모리 10분의 1로 줄였다고 했었는데 — 오늘 편 보고 나면 그게 얼마나 대단한 건지 진짜 이해가 된다고. 그리고 왜 요즘 GPT-4.5, Claude Opus 4.6 같은 모델들이 갑자기 5T, 10T 크기로 훅 커졌는지도 설명이 된다고 예고해.

---

15~35분: 트랜스포머 구조 초고속 복습 — "prefill이랑 decode가 뭔지만 알면 졸업"

최승준이 직접 만든 인터랙티브 트랜스포머 시각화를 띄워놓고 설명해. 분위기가 "요즘 Codex 한테 시켰더니 이거 만들어 줬어요"라는 가벼운 자랑과 함께 시작하는데, 노정석이 "아이고, Codex가 해줬군요" 하고 웃어.

핵심만 빠르게 — 내가 AI한테 "이 코드 봐줘"라고 코드 천 줄을 붙여넣으면 그게 prefill 이야. AI가 답하기 전에 내 입력을 전부 한 번에 처리하는 단계. 그리고 AI가 한 단어씩 타타타 출력하는 게 decode야. 입력 한 번에 처리 vs. 출력 한 토큰씩 — 이 두 단계가 완전히 다른 연산이거든.

KV cache 개념도 나와. AI가 내 대화 맥락을 기억하는 방식인데, 새 토큰이 나올 때마다 이전에 계산한 K(키)랑 V(값)를 저장해뒀다가 재활용해. 그래서 대화가 길어질수록 이 cache가 엄청나게 커져. 트랜스포머 블록이 DeepSeek V4 기준으로 61층이나 있고, 각 층마다 이게 다 붙거든 — 최승준이 "어마어마하게 많아지죠" 하면서 약간 경악하는 표정.

MoE(Mixture of Experts) 설명도 나오는데, 노정석이 재미있는 포인트를 짚어. "많은 분들이 수학 물어보면 수학 전문가가 나오는 거라고 생각하시는데, 전혀 아니에요. 'I am a boy'라고 쳐도 매번 다른 expert가 처리할 수 있어요." 전문가가 지식을 나눠가진 게 아니라, 그냥 연산을 분산하는 구조라는 거야.

---

35~60분: 오늘의 진짜 본론 — "왜 토큰 가격이 이렇게 생겼냐"

Reiner Pope(구글 TPU 출신 창업자)랑 Dwarkesh가 칠판에 쓴 수식을 따라가는 파트야. 노정석이 살짝 긴장하면서 "오늘 내용이 상당히 어렵긴 하지만 재밌을 거예요"라고 했는데, 이 파트가 그 어려운 부분이야.

핵심 공식은 이거야:

• 연산 걸리는 시간(t_compute) = 태운 유저 수 × 활성화된 파라미터 수 ÷ 연산 속도
• 메모리 읽는 시간(t_memory) = 전체 모델 무게 + KV cache 크기 ÷ 메모리 대역폭

AI가 한 번 답을 내는 데 걸리는 시간은 이 둘 중 오래 걸리는 쪽에 묶여. 유저 수(배치)가 적으면 메모리에 묶이고, 배치가 많아지면 연산에 묶여. 노정석이 그래프 그리면서 "이 교차점이 바로 가격 최적점"이라고 설명해.

그리고 신기한 숫자 하나가 나와 — 300이라는 숫자. FLOPs(연산 속도) 나누기 메모리 대역폭이 하드웨어가 계속 발전해도 FP4 기준으로 약 300 배율을 유지한대. GPU가 H100이든 GB300이든 이 비율이 비슷하게 유지된다는 거야. 그래서 최적 배치 수 = 300 × sparsity 역수. DeepSeek V3 기준으로 계산하면 약 2,400명을 한 사이클에 태울 수 있어.

---

60~80분: "20ms 열차" — GPU가 실제로 어떻게 돌아가나

노정석이 "열차"에 비유해서 설명해. GPU는 약 20ms마다 한 번씩 연산 사이클을 돌려. 이 20ms도 그냥 정한 게 아니라 — HBM 메모리 용량(288GB) ÷ 메모리 대역폭(20TB/s) = 약 14~15ms, 퉁쳐서 20ms. 그게 GPU가 전체 메모리를 한 번 다 읽어내는 시간이야.

그 20ms 열차에 유저들을 꽉꽉 채우는 게 목표인데, 문제는 유저마다 상황이 달라. "안녕"이라고 한 글자 보내는 사람, Claude Code에서 5만 토큰 코드 붙여넣는 사람, 대화가 80만 토큰 쌓인 사람 — 다 섞여 있거든. 그걸 어떻게 효율적으로 배치하냐가 vLLM, SGLang 같은 추론 엔진들이 하는 일이야.

여기서 중요한 게 chunked prefill — 5만 토큰 prefill도 잘게 쪼개서 decode 중인 유저들 사이에 끼워 넣는 기법. 그리고 PagedAttention — KV cache를 메모리에서 포인터로 관리해서 낭비 없이 쓰는 혁신. 노정석이 "이런 엔지니어링 인프라 능력이 프론티어 랩들의 진짜 해자(moat)"라고 강조해.

그리고 이걸 이용해서 역산이 가능하다는 얘기가 나와. 구글이 발표한 "초당 토큰 처리량" + API 가격 → 랙이 몇 대 있는지 추정 가능. 최승준이 "프론티어 랩들이 의도치 않게 정보를 주고 있었다"고 웃음.

---

80분~끝: cache 계층 구조 + 마무리 + 최승준 전시 광고

노정석이 KV cache 계층을 설명해. 내가 Claude Code 쓰다가 물 마시러 갔다 오면:

• 30초 이내 → HBM에 그대로 있어, 빠르게 이어서 작업 가능
• 몇 분 지나면 → CPU DRAM으로 내려가
• 10분 이상 → flash(SSD)로 이동
• 더 지나면 → 완전 삭제, 다시 prefill부터 시작 (비용 다시 발생)

이게 바로 "캐시 가격"이 따로 있는 이유야. 노정석이 "저는 지금까지 이런 계산을 해본 적이 없다는 걸 이번에 알게 됐어요"라고 솔직하게 말해 — 자기도 처음 공부한 거라는 거야.

마무리로 최승준이 Dwarkesh의 공부법 flashcard를 Codex로 번역해서 보여줘. Dwarkesh가 인터뷰 한 명 당 2주씩 공부한대 — "다른 누구도 못할 만한 질문을 해내기 위해서". 그리고 최승준의 어린이날 전시 광고로 마무리. 손으로 건드리면 항성계가 생기는 인터랙티브 아트 작품이야.

---