EP 92. 루프를 닫아라

🗺️ 이 영상의 위치

시간순: 전체 115편 중 112번째 · 2026-03-29
시기 배경: 2026상 (AI 에이전트 실용화 원년 / Claude Code·Codex가 실제 논문·코딩에 투입되는 시기)
난이도: ⭐⭐⭐ (어려운 개념 9개)
⬅️ 앞 영상: EP 91. 26.1Q 비즈니스 관점에서의 AI
➡️ 다음 영상: EP93. Claude Code 소스코드 유출 이후 (ft. 사이오닉 고석현 대표)
- 연결 이유: Claude Code 소스코드 유출이라는 충격적 사건이 터지면서 에이전트 도구의 신뢰 문제로 화제가 이어짐

⚡ 5분 요약

한 줄

AI가 검증 가능한 목표만 주면 알아서 달리는 시대 — 근데 그 목표 자체를 세팅하는 능력이 이제 진짜 실력이야.

핵심 3개

1) "딸깍 되는 일" vs "딸깍 안 되는 일" — 네 자리 찾기 지금은 거의 모든 일이 AI로 쉽게 만들어져. 근데 쉽게 되는 일은 가치도 빠르게 0이 돼. 카르파티도 인정한 것: 산문은 루프 돌리면 꽤 잘 나오는데, 농담은 여전히 꽝이야. AI가 못 하는 영역, 즉 검증 기준 자체를 설계하는 일이 남은 진짜 일이거든.

2) 오토 리서치 = "AI한테 목표 주고 루프 돌리기" 카르파티가 만든 방식: 명확한 목표(loss 줄이기) + 측정 가능한 결과 → AI가 논문 찾고, 코드 고치고, 스스로 개선. 노정석이 비즈니스에 똑같이 적용 중이야. 핵심은 "목표를 숫자로 번역하는 능력"이고, 그게 지금 가장 비싼 스킬이 됐어.

3) AI 과학의 시대 — 코딩에서 일어난 일이 과학에서도 터진다 물리학자 Matthew Schwartz가 Claude Code로 3~~4개월치 양자 논문을 10~~14일에 썼어. 박사 없어도 최전선 과학에 진입 가능한 문이 열리고 있어. 노정석은 신약 개발까지 직접 해보려고 해. "코딩 아무나 하게 된 것처럼 과학도 아무나 하게 될 것"이라는 거야.

가장 인상적인 한 마디

"에이전트가 못하는 것이 이제 당신의 일이다. 에이전트가 할 수 있는 것은 아마 당신보다 더 잘하거나 곧 그렇게 될 거예요."

한나야, 이게 무슨 말이냐면 — 유튜브 편집이나 썸네일 만들기는 AI가 곧 다 해. 근데 "이번 달 뭐로 채널 방향 바꿀까"를 결정하는 감각, 그게 네 일로 남는 거야.

한나가 지금 당장 시도해볼 것

콘텐츠 기획 하나를 잡고, "이게 성공했다"는 기준을 숫자로 먼저 써봐. 예: "조회수 X 이상 + 저장율 Y% + 댓글에 '나도 이거 해봄' 반응 Z개". 그 기준을 Claude한테 주고 콘텐츠 초안을 루프 돌려봐. 기준 없이 그냥 "좋은 글 써줘"랑 결과물이 전혀 달라.

📖 시간대별 영상 흐름 (15분 정도 걸려, 시간 있을 때만)

0~12분: "딸깍 되는 일엔 뛰어들지 마" — 오늘의 화두 세팅

최승준이 오늘 내용을 두괄식으로 먼저 꺼내. 3D 마크다운 렌더러를 딸깍 만들었는데… 그게 자기한테는 재밌었지만 남한테도 가치 있는지는 모르겠다는 거야. 여기서 ephemeral software(덧없는 소프트웨어)라는 카르파티 표현을 소개해. 쉽게 만들어지지만 그만큼 금방 가치가 사라지는 것들.

노정석이 받아서 "당장 할 수 있지만 남도 다 할 수 있는 일은 상대적 가치가 없어. 나만 할 수 있고 그 우위를 오래 지킬 수 있는 일을 찾아야 해"라고 덧댄다. 그리고 오늘 두 가지 재료를 소개해: 카르파티의 Sarah Guo 팟캐스트, 그리고 수학 천재 Terence Tao의 Dwarkesh Patel 인터뷰.

12~28분: 카르파티 팟캐스트 분해 — 오토 리서치의 가능성과 한계

카르파티가 "12월 이후 코드 직접 타이핑 한 번도 안 했다"고 고백했다는 걸 최승준이 전한다. 10월엔 80:20(직접:AI)이었는데 지금은 20:80으로 뒤집혔어. 그리고 OpenClaw 만든 Peter Steinberger 워너비가 됐다고. 노정석이 웃으면서 "여러 개 터미널 띄워놓고 일 시키는 거 맞죠"라고 화답해.

오토 리서치 복습 파트. 목표가 명확하고(loss 줄이기) 결과물을 검증할 수 있으면(숫자로 측정) → AI한테 맡기면 알아서 논문 찾아오고 코드 고치고 개선한다는 거야. 카르파티 본인이 "20년 동안 내가 놓쳤던 걸 AI가 잡아냈다"고 놀라워했어. 노정석이 딱 잘라 말해: "카르파티보다 나은 거니까 웬만한 사람보다 훨씬 나은 거야."

근데 한계도 있어. 검증하기 어려운 영역은 그냥 표류(drift)한다는 거야. 농담 시키면 3~4년 전 모델 수준을 못 벗어난다고. 카르파티 표현: AI는 "jagged(들쭉날쭉)" — 어떤 건 초천재, 어떤 건 형편없는 바보.

28~42분: Terence Tao 인터뷰 — 수학자가 말하는 AI의 경계

Dwarkesh Patel이 Terence Tao를 인터뷰한 에피소드. 케플러 얘기부터 시작해. 천동설 vs 지동설 초기에 오히려 천동설 모델이 더 정확했고, 지동설이 맞는 걸 증명하는 데 시간이 오래 걸렸다는 거야. 단기 인센티브가 있는 게 장기적으로 틀릴 수 있다는 복선이야.

Tao는 AI 수학으로 Paul Erdős 문제들이 많이 풀렸는데 지금은 plateau(정체기)에 접어들었다고 해. 쉬운 것들 다 수확하고 나니 다시 어려워진 거야. 핵심 포인트: Dwarkesh Patel이 "이 인식론적 지옥에서 살아남는 건 강화학습 루프에 코드화할 수 없는 판단력과 휴리스틱의 혼합"이라고 정리해. 최승준이 여기서 semi-formal 언어 개념을 짚어 — 수학자들의 암묵적 협업 방식을 완전한 코드도 아니고 자연어도 아닌 반형식 언어로 담을 수 있을까, 하는 Tao의 고민이야.

재밌는 에피소드: 프린스턴 고등연구소(연구만 할 수 있는 꿈의 장소)에 처음 몇 주는 좋았는데 시간 지나면 영감이 고갈된다고. Feynman도 Hamming도 같은 말 했대. "학생 가르치면서, 사람 만나면서 생기는 게 있다"는 거야. 노이즈 같은 일상이 사실은 창의성의 연료라는 뉘앙스.

42~55분: Anthropic 과학 블로그 — 물리학자의 Claude Code 실전 후기

Anthropic이 과학 블로그를 론칭하고 두 편을 올렸어. 첫 번째는 "vibe 물리학" — 양자장론 물리학자 Matthew Schwartz가 Claude Code로 논문을 어떻게 공동 저술했는지야. 3~~4개월 걸릴 논문을 10~~14일에 썼어. 근데 그냥 딸깍이 아니라, AI 대학원생을 지도하듯 계속 교정하고 방향 잡아줬대.

Claude가 잘하는 것: 지치지 않는 반복, 불평 없음, 기초 다 앎, 그림 잘 그림, 논문 종합 잘함. Claude가 못하는 것: 비표준 규약에서 기본값으로 자꾸 돌아감, 끝까지 밀어붙이는 힘 부족, 방향 감각과 미감 부족, 압박을 견디는 것 안 됨.

노정석이 "결국 본인을 evaluator로 쓴 거야. 오토 리서치의 변형 버전"이라고 정리해. 두 번째 블로그는 우주 배경 복사 시뮬레이터를 물리학자가 JAX로 구축한 이야기. 마찬가지로 루프 방식.

55분~끝: 루프를 닫아라 — 노정석·최승준의 실전 실험

최승준이 글쓰기로 실험한 얘기를 꺼내. 헌법 쓰고 → 초안 쓰고 → 호되게 자기 평가하고 → 인수 조건 설정하고 → 그거 통과할 때까지 루프 돌리는 방식. 산문은 꽤 인상적인 결과가 나왔어. 교열자가 글자 인식에서 게슈탈트 붕괴를 겪는 단편인데, 최승준이 "자모를 분해해서 사운드로 느끼게 쓴 부분은 어떻게 이런 발상을 했지" 싶었대.

근데 농담은 처참하게 실패. 같은 메커니즘으로 시트콤 장면 써봤는데 하나도 안 웃겨. 노정석이 진단: "이 업계 사람들이 다 극 T들이라 F 영역은 evaluation 방법 자체를 모르는 거야. 그게 오히려 도망갈 영역이지." 최승준이 동의하면서 "감정이 가치 함수라는 말과 닿아 있을 것 같다, 근데 아직 아무도 모른다"고 해.

노정석의 Chedex 이야기가 절정. Codex 위에 자기만의 하네스를 얹어서, 2시간 루프 돌고 나면 열어보지도 않고 배포한다고. 핵심은 OKR(목표와 핵심 결과)을 숫자로 정의하는 것. 노정석이 구글 시절 훈련받은 거랑 오토 리서치가 완전히 같은 원리라는 걸 깨달은 거야.

에르메스 비유로 마무리: "가방은 다 만들 수 있어. 근데 사람들은 에르메스 사. 브랜드가 됐기 때문에. 딸깍 되는 세상에서도 오래 같은 걸 잘해온 사람한테 사람들은 여전히 가."

💡 한나 버전 사전

"오토 리서치(Auto Research)"가 뭐야?

전문가 설명: 목표와 측정 기준을 주면 AI가 스스로 논문 찾고, 코드 고치고, 결과 평가하면서 반복적으로 성능을 개선하는 루프 시스템.
한나 버전: 유튜브 알고리즘 A/B 테스트 자동화 버전이야. 썸네일 목표(CTR 10% 이상)를 주면 AI가 알아서 수십 가지 변형을 만들고, 기준 통과할 때까지 스스로 개선하는 거. 근데 목표를 숫자로 줘야만 작동해.

"verifiable(검증 가능한)"이 왜 중요해?

전문가 설명: AI 강화학습이 작동하려면 결과가 맞는지 틀린지 명확히 판별할 수 있어야 함. 수학 증명, 코드 오류, 점수처럼 숫자로 재거나 맞/틀을 가릴 수 있어야 루프가 돌아감.
한나 버전: 인스타 좋아요 수처럼 숫자가 나오는 건 verifiable해. 근데 "이 글이 감동적인가"는 verifiable하지 않아. AI는 숫자로 판단 가능한 것만 빠르게 정복하고, 나머지는 여전히 표류(drift)해.

"하네스(Harness)"가 뭐야?

전문가 설명: AI 모델이 특정 작업을 더 잘하도록 감싸는 도구·프롬프트·구조의 묶음. 모델 자체는 안 바꾸고 주변 환경을 설계하는 것.
한나 버전: 모델이 AI 엔진이면, 하네스는 그 엔진에 맞게 튜닝한 레이싱카 섀시 같은 거야. Claude라는 엔진은 같아도 네가 설계한 프롬프트 구조·평가 기준·반복 루프가 결과를 완전히 바꿔.

"RL(강화학습, Reinforcement Learning)"이 뭐야?

전문가 설명: AI가 행동→결과→보상/페널티 사이클을 반복하며 좋은 행동을 강화하는 학습 방식. 알파고, ChatGPT 훈련에 쓰임.
한나 버전: 틱톡 알고리즘이 콘텐츠를 학습하는 방식이랑 똑같아. 사람들이 오래 봤으면 "이거 좋아" 신호, 넘기면 "이거 별로" 신호. 그걸 수억 번 반복해서 뭘 추천할지 학습하는 거. AI 모델도 같은 방식으로 훈련돼.

"Jagged(들쭉날쭉)"이 뭐야?

전문가 설명: AI 능력이 균일하지 않고 어떤 분야는 초고수, 어떤 분야는 초보 수준인 현상. 카르파티가 현재 AI의 특징으로 자주 언급.
한나 버전: 팔로워 100만인 인플루언서가 뷰티 콘텐츠는 천재인데 요리 영상은 처참한 거랑 비슷해. AI는 코딩은 카르파티 수준이지만 농담은 3년 전 수준이야.

"Manifest(매니페스트)"가 뭐야?

전문가 설명: 원래는 소프트웨어 설정 파일 용어. 여기선 "내 의지를 명확히 표현해서 실제로 나타나게 한다"는 의미로 쓰임. 카르파티가 Sarah Guo의 "express my will"을 이 단어로 바꿔줌.
한나 버전: 브랜드 무드보드 같은 거야. "나는 이런 콘텐츠를 만드는 사람이고 이런 방향으로 간다"를 명확히 문서로 정의해 놓으면 AI가 그 방향으로 달려줘. 구체적으로 안 써놓으면 AI는 아무 방향이나 가.

"OKR"이 뭐야?

전문가 설명: Objectives and Key Results. 구글이 유행시킨 목표 관리 방식. 목표(Objective)와 그게 달성됐을 때 보게 되는 핵심 결과(Key Results)를 숫자로 명확히 정의.
한나 버전: "이번 분기 브랜드 콜라보 늘리기"(Objective) → "월 콜라보 제안 수락율 20% 이상, 협찬 단가 30% 인상, 리뷰 영상 저장율 8% 이상"(Key Results) 이렇게 숫자로 쪼개는 거야. 노정석은 AI 루프에 이걸 그대로 적용해.

"Semi-formal 언어"가 뭐야?

전문가 설명: 완전한 수학 증명 언어(Lean 같은 formal language)도 아니고 일상 자연어도 아닌 중간 형태. 전문가들의 암묵적 판단 기준을 AI가 이해할 수 있게 구조화하는 방식.
한나 버전: 콘텐츠 스타일 가이드 같은 거야. "밝게, 자연스럽게" 같은 모호한 말도 아니고 코드도 아닌, "배경은 따뜻한 톤, 자막 폰트는 고딕, 인트로 3초 이내, 말투는 반말"처럼 AI가 따를 수 있게 반쯤 정형화한 규칙 문서.

"Plateau(플래토)"가 뭐야?

전문가 설명: 급격한 성장·발전 후 성능 향상이 멈추거나 느려지는 정체 구간.
한나 버전: 유튜브 채널 초기에 구독자 폭발하다가 어느 순간 딱 멈추는 그 구간이야. AI 수학 문제 풀이도 쉬운 문제들 다 정복하고 나니 지금 그 정체기에 접어들었다는 거.

🔥 노정석 어록 모음

"딸깍딸깍해서 끝나는 일들의 단가가 계속해서 하락하고 있거든요. 두 달 먼저 갔다 정도고 뒤에서 따라오는 사람들이 그걸 캐치업하기가 너무 쉬워요."

분위기: 위기감 없이 담담하게, 근데 팩트폭력 그 자체인 톤으로.

한나 풀이: 2개월 먼저 시작한 숏폼 크리에이터 우위가 요즘 거의 없잖아. 나중에 시작한 사람이 더 좋은 AI 도구 써서 더 빠르게 따라오거든. "내가 먼저 했다"는 게 더 이상 해자(방어선)가 아니라는 말이야.

"아 이거 형편없는 바보. 어떤 건 정말 슈퍼 천재인데 어떤 건 형편없는 바보."

분위기: 웃으면서 말했지만 이게 AI의 현실이라는 걸 인정하는 솔직한 한 마디.

한나 풀이: AI한테 다 믿고 맡기면 안 되는 이유야. 영어 카피라이팅은 탁월한데 한국어 특유의 뉘앙스·말장난·유머는 아직 처참할 수 있어. 도구로 쓰되 어떤 부분에서 바보인지 파악하고 있는 게 프로의 자세야.

"이 모든 게 타이밍 이슈로 조금 점근될 것 같아요. 내가 빨리 한 거의 시간 가치가 얼마냐, one 딸깍 away인지 three 딸깍s away인지가 중요한 거죠."

분위기: 빠르게 말하면서도 한 단어 한 단어 무게 있게 내뱉는 톤. 이게 자기가 지금 실제로 고민하는 기준이라는 느낌.

한나 풀이: 내가 지금 만드는 콘텐츠 포맷, 브랜드 아이덴티티가 AI 1번 클릭으로 복제 가능한지 3번 클릭으로 복제 가능한지 따져봐. 클릭 수가 적을수록 빨리 가치가 사라지는 거야. 근데 그 클릭 수는 계속 줄어드니까 지금 당장 "3클릭짜리 우위"라도 쌓는 게 아무것도 안 하는 것보다 낫다는 말이기도 해.

🎬 한나 적용 포인트

"뭘 싫어하는지"가 취향이야 — 네 브랜드 헌법에 거절 목록 만들어봐

최승준이 이번 주에 발견한 인사이트: 프롬프트에 "나는 이런 이유로 이걸 채택하지 않는다"는 거절 기준을 넣었더니 글 품질이 확 올라갔대. 한나야, 너도 콘텐츠 가이드에 "내가 하지 않는 것들" 목록을 AI한테 먹여봐. "나는 과장된 표정 썸네일 안 해, 너무 긴 인트로 안 해, 협찬 티 너무 나는 거 안 해"처럼. AI가 훨씬 네 스타일에 가까운 결과물을 뱉어.

에이전트 돌아가는 동안 사람들이랑 다음 방향 얘기해 — "소셜 코딩"의 콘텐츠 버전

최승준이 워크샵에서 실험한 것: AI한테 일 시키고 돌아가는 동안 사람들이랑 다음 아이디어 개진하기. 한나야, 협업 크리에이터나 팀이랑 콘텐츠 기획할 때 AI한테 초안 맡기고 그 사이에 "이번 시리즈 다음 편 방향" 같이 얘기하는 구조로 바꿔봐. 기다리는 시간이 아니라 사람만 할 수 있는 시간이 돼.

"브랜드"가 지금 가장 딸깍 안 되는 것 — 에르메스 전략

노정석의 마무리 비유: 가방은 다 만들 수 있지만 사람들은 에르메스를 사. AI가 모든 콘텐츠를 만들 수 있어도 "한나표"를 사고 싶은 사람들이 있으면 돼. 지금 당장 쓸 것: 네 팔로워들이 너한테만 오는 이유를 3가지 적어봐. 그게 아직 딸깍 안 되는 네 영역이야. 거기 집중해서 반복하면 브랜드가 돼.

🏷️ 태그

시기: #2026상
주제: #에이전트루프 #AI과학 #딸깍경제학 #암묵지
인물: #카르파티 #테런스타오
자유: #루프닫기 #verifiable보상 #오토리서치