EP 60. 이제 질문이 병목이다: Right Questions are All You Need

🗺️ 이 영상의 위치

시간순: 전체 115편 중 76번째 · 2025-07-21
시기 배경: 2025하 (AI 에이전트 폭발기 / tool use가 새 패러다임으로 자리잡는 중)
난이도: ⭐⭐⭐ (어려운 개념 9개)
⬅️ 앞 영상: Convolution, CNN, ResNet
➡️ 다음 영상: EP 61. AI, 국제수학올림피아드 금메달을 따다
- 연결 이유: AI가 IMO 금메달을 따면서 '질문보다 풀이'가 어디까지 가는지 보여주는 실험적 사례로 이어짐

⚡ 5분 요약

한 줄

AI가 '어떻게'는 다 해결했고, 이제 병목은 "무엇을 물어볼 것인가"야.

핵심 3개

1) Tool use가 이제 모델 안으로 들어온다 Grok-4, Kimi K2, ChatGPT Agent — 셋 다 공통점이 하나야. 외부 도구를 불러 쓰는 능력을 모델 내부에 직접 학습시켰어. 예전엔 크리에이터가 외부 예약 플랫폼·DM 툴을 따로 연결해야 했다면, 이제 AI가 그 도구 사용법을 태어날 때부터 아는 것처럼 되는 거야.

2) 데이터 연결하면 질문이 전부다 노정석이 직접 겪은 얘기야. 회사 DB를 Claude Code에 연결했더니 코딩은 Claude가 다 해버렸대. 근데 그 이후 남은 병목이 뭔지 알아? "어떤 질문을 할 것인가"였어. 인스타 릴스로 치면 촬영·편집은 AI가 다 해줘도 "오늘 뭘 찍지?"는 여전히 네가 정해야 하는 것처럼.

3) 지능의 가격은 0을 향해 내려간다 빅테크들이 천문학적 인프라 경쟁을 하는 이유가 바로 이거야. 서로 치킨게임을 하다 보면 AI 쓰는 비용이 전기세 수준까지 내려갈 거거든. 지금 당장 AI를 제일 빨리, 제일 많이 쓰는 게 경쟁력이 되는 시대라는 결론.

가장 인상적인 한 마디

"질문이 bottleneck이 되더라고요, 질문이."

한나야, 이게 무슨 말이냐면 — AI가 '실행'은 다 해주는 시대가 왔는데, 결국 "뭘 만들지, 왜 만들지"를 정의하는 사람이 제일 중요해진 거야. 크리에이터가 제일 잘 훈련된 능력이 바로 그거잖아.

한나가 지금 당장 시도해볼 것

Claude나 ChatGPT에 지금 하는 일 하나를 최대한 구체적인 질문으로 던져봐. "콘텐츠 아이디어 줘"가 아니라 "내 팔로워는 20대 여성이고 최근 뷰가 떨어진 이유를 분석해서 다음 3개 콘텐츠 방향을 추천해줘"처럼. 질문의 품질이 답변의 품질이거든.

📖 시간대별 영상 흐름 (15분 정도 걸려, 시간 있을 때만)

0~15분: 이번 주 뉴스 3개 — Grok-4, Kimi K2, ChatGPT Agent

노정석이 "지난 2주 동안 큰 일 3가지 있었는데요"라며 운을 뗐어. 분위기는 뉴스 큐레이션하는 친구 느낌. 살짝 피곤해 보이지만 눈빛은 반짝반짝.

첫 번째, Grok-4. xAI(일론 머스크 회사)가 낸 모델인데 핵심은 "사전 학습을 더 키우는 대신 추론 훈련에 다 쏟아부었더니 성능이 확 올라갔다"는 거야. 그리고 공통 키워드가 등장해 — native tool use(네이티브 툴 유즈). 쉽게 말하면 AI가 외부 도구 쓰는 걸 생색 안 내고 자연스럽게 하게 됐다는 거지.

두 번째, Kimi K2. 중국 스타트업 Moonshot이 낸 1조 파라미터짜리 모델이야. MoE(전문가 혼합, 여러 전문 AI를 상황에 맞게 불러 쓰는 구조) 방식으로 만들었고, 특히 tool use 데이터셋을 합성해서 모델을 훈련시킨 게 핵심이야. 노정석이 "아마 논문 나오면 DeepSeek R1처럼 히트 칠 것 같다"고 기대하더라고. 최승준도 "레시피 공개 느낌이다"고 맞장구.

세 번째, ChatGPT Agent. OpenAI가 Deep Research(깊이 조사하는 기능)와 Operator(브라우저 조작 기능)를 합쳤어. 근데 이걸 모델 이름으로 안 부르고 "ChatGPT Agent"라고 불렀다는 게 포인트야. 노정석 추측: "GPT-5 포지셔닝일 수 있다."

15~30분: 노정석의 생각 실험 — harness는 일시적이다

여기서 노정석이 살짝 진지해져. 한 주 동안 감기로 누워 있으면서도 유튜브 계속 틀어봤다고 했거든. "약간 우울증 같기도 해요. 진짜"라고 솔직하게 털어놔.

핵심 주장은 이거야. 지금 우리가 AI를 쓸 때 이것저것 연결해 주는 harness(하네스) — 랭체인, n8n 같은 자동화 프레임워크 — 를 잔뜩 쓰잖아. 근데 그게 다 모델 내부로 들어가버릴 거라는 거야. 마치 유튜브 편집을 위해 외부 앱을 10개 쓰다가 나중엔 유튜브 앱 안에 다 내장되는 것처럼.

그러면서 꽤 무서운 말도 해. "Claude for Financial Services가 나왔는데, 이건 결국 Claude Code + 금융 DB + 금융 전용 프롬프트야. 이게 대기업이 만들어 나오기 시작하면 그 위에 있던 회사들은 순식간에 없어진다." 최승준이 조용히 "그렇죠, 그걸 해야 되는 거죠 지금은"이라고 받아.

30~45분: "질문이 전부다" — Right Questions Are All You Need

여기가 이 에피소드의 핵심이야. 노정석이 자기 회사 얘기를 직접 꺼내.

"저희 회사 내부에 에이전트 워크플로우 잔뜩 만들어놨는데, 이걸 다 Claude Code로 바꾸고 있어요. 회사 DB MCP 연결하면 끝이더라고요." 엔지니어들이 "Claude Code is all you need"라는 말을 이메일에 심심찮게 쓴다고.

근데 이렇게 하고 나니 새로운 병목이 생겼어. 코딩은 Claude가 다 해버려. 데이터 분석도 Claude가 다 해버려. 그럼 사람이 해야 할 일이 뭐야? 어떤 질문을 할지 정하는 것. 노정석이 살짝 흥분하면서 "질문이 bottleneck이 되더라고요"라고 했을 때 최승준이 바로 "how는 bottleneck이 아니고 what이 병목이다"라고 딱 잘라줬어.

이어서 노정석이 직접 쓴 생각 실험 노트를 Claude Opus 4한테 "내가 틀린 부분 체크해줘"라고 시켰는데, 대부분 맞다고 했대. "가슴을 쓸어내렸다"고 웃으면서. 그러면서 "모델의 capacity는 사용하는 인간의 capacity에 제한된다"는 걸 '체스터의 법칙'이라고 이름 붙였어.

45~55분: Sutton의 '경험의 시대' — 우주 철학까지 갔다

최승준 파트. 차분하고 체계적으로 설명하는데 내용은 꽤 깊어.

알파고 만든 David Silver와 RL의 아버지 Richard Sutton이 쓴 논문 얘기야. 핵심은 "AI가 이제 교과서로 배우는 게 아니라 직접 경험하면서 배우는 시대가 왔다"는 거야. 아기가 장난감을 잡고 떨어뜨리면서 중력을 배우듯이.

그 다음 Sutton이 우주론으로 날아가. 빅뱅 → 별의 시대 → 생명의 시대 → 설계의 시대. 인간이 설계하는 존재를 낳았고, 이제 그 설계하는 존재가 더 나은 설계자를 만드는 거야. 노정석이 "그게 회사 경영 이론이랑도 똑같다"고 끼어들어서 둘이 잠깐 신나게 맞장구 침.

최승준이 살짝 웃으면서 무서워하는 표정으로 이세돌 얘기를 꺼내. "바둑을 예술로 배웠는데, 이제 새 방향을 제시할 역할이 없는 것 같다는 말을 했대요"라고. 그게 우리 미래이기도 하다는 걸 모두가 느끼는 순간이었어.

55~끝: Gwern의 '백일몽 세금' — 꿈의 공장이 해자가 된다

최승준이 마지막 카드를 꺼내. Gwern Branwen — OpenAI 외부에서 scaling 가설을 예언한 전설적인 익명 연구자 — 의 글이야.

인간이 멍때릴 때 뇌가 먼 개념들을 연결하는 작업을 하잖아(디폴트 모드 네트워크). AI한테도 그걸 시키자는 아이디어야. 어마어마한 계산을 써서 AI가 서로 멀리 있는 개념들을 연결하게 계속 돌리면, 그렇게 만들어진 '합성 데이터'가 해자(남이 따라할 수 없는 경쟁력)가 된다는 거야.

왜? 그 데이터를 얻으려면 똑같이 수십억 달러짜리 계산을 재현해야 하니까. 노정석이 "Meta, xAI, Google이 인프라 경쟁하는 이유가 이거"라고 치고받았어.

결론은 둘 다 같았어. "지독히 힘들면서 너무너무 재미있는 시기." 최승준이 "비슷한 메시지로 매주 마무리하는 것 같아요"라고 했고, 노정석이 "그만해야 되려나봐요, 저희"라고 웃었어. 분위기는 지쳐 있지만 설레는 마라톤 선수 같았어.

💡 한나 버전 사전

"Tool Use(툴 유즈)"가 뭐야?

전문가 설명: AI가 외부 시스템(검색엔진, 데이터베이스, 브라우저 등)을 직접 호출해서 사용하는 능력.
한나 버전: 인스타그램 앱에서 링크트리, 결제 툴, 예약 시스템을 직접 연결해서 쓰는 것처럼, AI가 외부 도구를 척척 불러다 쓰는 거야. Native tool use는 그 연결이 앱 내장처럼 자연스러워진 것.

"Harness(하네스)"가 뭐야?

전문가 설명: AI를 더 잘 활용하기 위해 외부에서 만들어 씌우는 구조/프레임워크. LangChain, n8n 같은 것들.
한나 버전: 카메라 자체 성능이 부족하니까 촬영 앱, 필터 앱, 편집 앱을 따로 쓰는 것처럼, AI 성능이 부족한 부분을 외부에서 보완해주는 세팅이야. 근데 카메라가 좋아지면 앱 필요 없어지잖아? 그게 지금 일어나고 있는 거야.

"MoE(Mixture of Experts, 전문가 혼합)"가 뭐야?

전문가 설명: 하나의 거대 AI 안에 여러 전문 모듈이 있고, 상황에 따라 필요한 모듈만 활성화되는 구조.
한나 버전: 멀티채널 크리에이터가 유튜브 팀, 숏폼 팀, 커머스 팀을 따로 두고 필요할 때만 부르는 것처럼. 전체는 크지만 실제로 움직이는 건 일부야.

"Native Tool Use(네이티브 툴 유즈)"가 뭐야?

전문가 설명: 외부 프레임워크 없이 모델 자체가 도구 사용 능력을 내재화한 상태.
한나 버전: 유튜브 초창기엔 편집 프로그램 따로 써야 했는데, 이제 유튜브 앱 자체에서 편집 다 되잖아. 그게 '내장된 툴 사용 능력'이야.

"Synthetic Data(합성 데이터)"가 뭐야?

전문가 설명: 실제 세계에서 수집하지 않고 AI가 스스로 생성한 학습용 데이터.
한나 버전: 팬들한테 리뷰 받는 게 아니라 내가 직접 가상의 댓글 수천 개를 만들어서 콘텐츠 반응을 시뮬레이션하는 것처럼. AI가 스스로 연습 문제를 만들고 푸는 거야.

"Verifiable Reward(검증 가능한 보상)"가 뭐야?

전문가 설명: AI 학습 시 정답/오답을 명확히 판별할 수 있는 영역. 수학 답, 코드 실행 결과 등.
한나 버전: "이 유튜브 영상이 좋아요 1만 개 넘으면 성공"처럼 수치로 딱 끊을 수 있는 기준. AI 입장에서 수학 문제는 맞고 틀림이 딱 나와서 연습하기 쉬운데, 글쓰기나 감성 콘텐츠는 기준이 모호해서 더 어려운 거야.

"Gwern Branwen(그웬)"이 누구야?

전문가 설명: 익명의 AI 연구자. AI 확장 가설(더 크게 만들수록 더 잘한다)을 OpenAI 직원들도 모를 때 예언해서 유명해진 인물.
한나 버전: 아무 소속도 없는 평범한 사람인데 혼자 분석한 글이 AI 업계 전체의 방향을 예언해버린, 일종의 AI 계의 독립 리서처야. 마치 팔로워 적은데 예언 적중률 100%인 미스터리 계정 느낌.

"Moat(해자)"가 뭐야?

전문가 설명: 경쟁자가 쉽게 따라올 수 없는 독점적 경쟁 우위. 원래 성 주변 물도랑에서 유래.
한나 버전: 아무나 못 따라하는 나만의 편집 스타일, 고유한 팬덤, 독점 계약 같은 것. AI 업계에선 "우리만 가진 데이터나 기술"이 해자야.

"Default Mode Network(디폴트 모드 네트워크)"가 뭐야?

전문가 설명: 뇌가 특정 과제에 집중하지 않을 때 활성화되는 회로. 멍때리거나 잠들 때 작동하며 창의적 연결을 담당.
한나 버전: 샤워하거나 산책할 때 갑자기 콘텐츠 아이디어가 막 떠오르잖아. 그게 이 네트워크가 작동하는 거야. Gwern은 AI한테도 이걸 인위적으로 만들어주자고 한 거야.

🔥 노정석 어록 모음

"질문이 bottleneck이 되더라고요, 질문이."

분위기: 자기 회사에서 직접 겪은 일을 신기해하며, 반복해서 강조하는 톤. "어, 이게 진짜네?"라는 발견의 순간.

한나 풀이: AI가 실행은 다 해버리는 세상이 왔을 때, 유일하게 남는 병목이 "뭘 물어볼지 아는 것"이야. 크리에이터는 이미 그 능력 — 타겟이 뭘 원하는지, 어떤 걸 만들면 터지는지 — 을 매일 훈련하고 있잖아. 네가 이미 가장 중요한 능력을 갖고 있다는 얘기야.

"미치도록 불안하지만 지금 제일 재미있는 시기를 살고 있는 건 확실한 것 같아요."

분위기: 감기 앓고 침대에 누워서도 유튜브 계속 틀어봤다고 고백하면서, 피곤하지만 눈을 못 떼는 사람의 솔직한 심정.

한나 풀이: AI 때문에 내 일이 없어질까봐 불안한 거랑, 이 변화의 한가운데에 있다는 흥분감이 동시에 오는 거야. 노정석도 이 업계 한가운데 있으면서 똑같이 느낀대. 불안한 게 이상한 게 아니라는 거지.

"우리가 경쟁하려고 하지 말라고, 'We'll gonna steamroll you'라고 얘기했었거든요."

분위기: Sam Altman이 한 말을 인용하면서, 무겁게 웃는 톤. "이게 농담이 아닌 것 같다"는 분위기.

한나 풀이: OpenAI 수장이 "우리가 너희를 밀어버릴 거야"라고 한 말이야. 공룡들이 시장을 다 먹어버리기 전에 지금 자기 자리를 빠르게 만들어야 한다는 경고이기도 해. 아마존이 모든 걸 팔아도 독립몰이 살아남듯이, 그 틈새를 찾는 게 지금 해야 할 일.

🎬 한나 적용 포인트

1) 내 콘텐츠 DB를 만들어 노정석이 "회사 데이터를 MCP에 연결하면 끝"이라고 했잖아. 한나 버전으로 하면 지금까지 만든 콘텐츠 제목, 조회수, 저장수, 댓글 반응을 스프레드시트 하나에 깔끔하게 정리해봐. 그 다음 ChatGPT한테 통째로 붙여넣고 "이 데이터에서 패턴 찾아줘"라고 물어봐. 분석은 AI가 다 해줄 거야. 네가 할 일은 그 스프레드시트를 만드는 것.

2) "좋은 질문 모음집"을 만들어봐 노정석이 "few-shot example(좋은 질문의 예시 몇 개)이 회사 경쟁력이 된다"고 했어. 한나 버전은 이래 — AI한테 콘텐츠 기획 도움받을 때 답이 잘 나왔던 질문들을 따로 저장해둬. 다음에 또 쓰고, 팀원 생기면 그걸 레시피로 넘겨. 이게 시간이 지날수록 진짜 자산이 돼.

3) Claude Max 플랜 or 유료 AI 도구, 지금 결제해봐 노정석이 "남보다 빨리 computation을 많이 쓰는 게 지금 경쟁력"이라고 했고, 실제로 AI 잘 쓰는 직원일수록 토큰 사용량이 많다는 데이터도 나왔어. 콘텐츠 하나 기획할 때 AI한테 진짜 깊이 물어보는 연습을 돈 내고 해봐. 무료 버전에서 대충 쓰는 것보다 훨씬 다른 답이 나와.

🏷️ 태그

시기: #2025하
주제: #tool use #에이전트 #질문의힘 #미래전략
인물: #Sutton #Gwern
자유: #Right Questions #지능의가격 #꿈의공장