0~10분: 중국 AI가 또 치고 올라왔다 — Kimi K2 등장

노정석이 "오늘 녹화는 11월 8일 토요일 아침"이라고 시작하면서, 어제 중국 Moonshot AI에서 Kimi K2 Thinking이라는 모델을 냈는데 GPT-5, Claude Sonnet 4.5 Thinking이랑 비교해서 안 밀린다고 해서 화제라고 소개해.

김성현이 바로 이어받아서 포인트를 짚어줘. 요즘 AI 모델이 빨리 나오는 이유가 프리트레이닝(처음부터 대규모로 학습)이 아니라 포스트 트레이닝(이미 만든 모델을 다듬는 과정)이 중심이 됐기 때문이래. 포스트 트레이닝은 레시피 개량만 하면 되니까 주기가 훨씬 빨라진다는 거야.

그리고 Kimi K2가 코딩·수학만 강조하는 게 아니라 창의적 글쓰기도 같이 챙긴다는 게 흥미롭다고 해. 노정석이 "Anthropic은 실용·B2B에, OpenAI·Kimi는 범용 지능에 방점을 두는 것 같다"고 정리해.

10~25분: 강화 학습이 뭔데? — AlphaGo부터 LLM까지

김성현이 강화 학습 소개를 시작해. 자기 또래 엔지니어들은 AlphaGo로 딥러닝을 시작해서 RL에 애정이 깊은데, 자기는 "골치 아픈 걸 왜 굳이 해?" 하고 피하다가 LLM 시대가 되면서 어쩔 수 없이 하게 됐다고 솔직하게 털어놔. 좀 귀여운 고백이야.

강화 학습 설명은 간단해. 에이전트가 환경 속에서 행동하고, 보상이 들어오면 그 행동들의 확률을 높이는 것. 그런데 문제가 있어 — 좋은 결과가 나왔을 때 그게 어떤 행동 덕분이었는지 알기가 어렵다는 거야(Credit Assignment Problem). 노정석이 "도박할 때 사람들이 패턴 없는 데서 패턴 찾는 것처럼"이라고 자연스럽게 연결해줌.

그다음엔 RLHF(인간 피드백 강화 학습) 설명이야. AI가 응답 두 개를 만들면, 사람이 어느 게 더 좋은지 골라주고, 그 기준으로 보상 모델을 만들어서 AI가 사람이 좋아하는 응답을 더 잘 내도록 학습시키는 것. 최승준이 "그게 비지도 학습 아니야?" 하고 헷갈려하고, 노정석이 중간에서 정리해줘.

25~40분: 왜 AI는 할루시네이션을 일으키나 — SFT와 off-policy의 함정

김성현이 핵심 문제를 꺼내. AI한테 전문가가 써준 정답(SFT 방식)으로 학습시키면 어떤 일이 생기냐고.

모델이 아는 질문이면 괜찮아. "프랑스 수도는 파리" → 아는 거 말하는 법을 배우는 것. 그런데 모르는 질문이면? 정답은 억지로 쓰여 있고, 모델은 모른 채 학습을 하면 "몰라도 일단 뭔가 답하는 패턴"을 배워버린다는 거야. 그게 할루시네이션의 씨앗이야.

여기서 on-policy / off-policy 개념이 나와. 운전을 배우는 AI에게 인간이 운전한 데이터를 줬는데, 그 인간이 갈 수 있는 경로를 AI는 못 간다면? AI는 현실에 나갔을 때 자기가 한 번도 본 적 없는 상황에 놓이게 돼. 이게 off-policy의 함정이야. 최승준이 잠깐 멍하게 있다가 고개 끄덕이는 구간이야.

40~52분: 왜 "생각하면서 답하면" 더 잘 맞히나 — 오버피팅과 일반화

김성현이 오버피팅 이야기를 풀어. 흔히 "모델이 너무 크면 오버피팅"이라고 하는데, 사실 핵심은 "모델이 풀 수 있는 문제를 줬냐"야. 너무 작은 사진은 사과인지 모른다 — 정보 자체가 없으면 아무리 단순해도 못 풀어. 반대로, 2차 방정식을 한 번에 풀 수 없는 모델은 답 자체를 외워버려. 그게 오버피팅이야.

단계별로 쪼개면? "근의 공식 가져오기 → 숫자 넣기 → 계산하기" 이렇게 나누면 각 단계가 모델이 풀 수 있는 난이도가 돼. 그러면 모델이 알고리즘을 배울 수 있고, 일반화가 일어나.

그리고 인터넷 데이터 문제. 수학 포럼에서 Cleo라는 유저가 아무 풀이 없이 적분 정답을 뚝 내놓은 사례를 보여줘. 인터넷에 이런 "질문-즉답" 패턴이 넘쳐나서, AI가 그걸 배운 거야. 그나마 희망적인 건 어떤 포럼에서 여러 사람이 주거니 받거니 하며 문제를 같이 풀어나가는 데이터가 드물지만 존재한다는 거야 — 바로 그게 추론하는 AI를 만든 씨앗이 됐대.

52~64분: DeepSeek R1이 왜 통했나, 그리고 우리 인생도 on-policy다

김성현이 빌드업을 마무리해. AI가 추론하지 않고 즉답하는 확률이 훨씬 높지만, 추론했을 때 정답일 확률이 더 높다는 비대칭 구조가 있어. RL은 정답에 보상을 주니까, 낮은 확률로 등장하는 "추론 패턴"이 보상을 기하급수적으로 받게 돼. 1이 2가 되고, 2가 4가 되고, 4가 8이 되고 — 엄청 빠르게 주류가 되는 거야. 최승준이 "CoT가 강화된다는 거죠?" 하고 확인하고, 노정석이 "compute가 많아질수록 된다는 말로 요약 가능하죠?" 하고 쐐기를 박아.

DeepSeek R1은 단순했어. "생각은 <think> 안에, 답은 <answer> 안에 써라" — 그것만 시키고, <think> 안에 뭘 쓰는지는 AI 마음대로. 그랬더니 추론이 저절로 생겼어. 최승준이 "Anthropic도 비슷한 <anth_think> 태그를 일찍부터 쓰고 있었다"고 끼어들어.

마지막에 노정석이 "우리 인생도 on-policy RL 아닌가요?" 하고 터트리는데, 이게 이 영상의 클라이맥스야. 보상 함수는 돈, 명예 같은 외부 것도 있지만, 스스로 상위 가치로 보상 함수를 짜는 사람이 위대하다고. 최승준이 "다음 주 교육 편이랑 연결할 말이 너무 많다"면서 참는 얼굴이야.