EP.2 래블업 신정규 대표의 "Scale Entanglement"

🗺️ 이 영상의 위치

시간순: 전체 115편 중 2번째 · 2023-05-24
시기 배경: 2023상 (AI 대중화 원년 / ChatGPT 폭발 6개월차, Microsoft·Google 전면전 시작)
난이도: ⭐⭐⭐⭐ (어려운 개념 12개)
⬅️ 앞 영상: EP.1 제프리 힌튼의 우울
➡️ 다음 영상: EP.3 Microsoft Build 2023 컨퍼런스 리뷰 (역사와 기술 중심으로)
- 연결 이유: 이 영상에서 Microsoft Build 컨퍼런스 발표 당일 녹화했다고 언급 → 다음 영상이 바로 그 컨퍼런스 리뷰

⚡ 5분 요약

한 줄

AI 모델은 4년 만에 2만 배 커졌는데, 이제 더 커지는 게 아니라 더 작고 똑똑하게 만드는 싸움으로 판이 바뀌었어.

핵심 3개

1) AI 모델 크기 경쟁은 사실상 끝났다 2018년~2022년, 4년 만에 AI 모델이 2만 배 커졌어. 근데 지금은 한 서버에서 굴릴 수 있는 물리적 한계가 있고, 전기값·비용 문제로 그 이상은 의미가 없어. 앞으로는 "작지만 성능 좋은" 모델을 만드는 게 진짜 전쟁이야.

2) Bing·PaLM이 여러 사이즈로 나뉘는 건 브랜드 전략이다 갤럭시 S시리즈(최상급)로 브랜드 이미지 만들고, 실제로 많이 팔리는 건 A시리즈(저가형)인 것처럼 — Microsoft도 Google도 큰 모델 이름 내걸고 뒤에선 작은 모델을 돌려. 사용자는 모르는 거야.

3) "막 던져도 되는 시대"가 왔다 불확실성이 너무 커서 5년 뒤 예측이 어렵다는 게 아니라, 오히려 역산하면 돼. "5년 뒤 GPU는 지금의 10배 이상 있을 것"처럼 확실한 것부터 거꾸로 추론하면 지금 뭘 해야 할지 보인다는 거야.

가장 인상적인 한 마디

"5년 후에 좀 구체적으로 예측해봐라, 뭘 해야 되냐 이러면 '무슨 말씀이세요?' 하겠지만, 역으로 생각하면 5년 후에 무조건 벌어질 현상으로부터 역산해서 지금 뭘 해야 되느냐는 쉽게 답을 낼 수 있는 문제이기도 합니다."

한나야, 이게 무슨 말이냐면 — 미래를 맞추려 하지 말고, 확실한 것(더워진다 / GPU 더 늘어난다 / AI 투자 계속 된다)에서 거꾸로 오늘의 행동을 뽑아내라는 거야. 크리에이터로 치면 "알고리즘이 어떻게 바뀔지 몰라도, 숏폼이 계속 커질 거라는 건 알잖아" 그 마인드야.

한나가 지금 당장 시도해볼 것

내 콘텐츠 분야에서 "AI 브랜드 전략"을 역이용해봐. Bing이 뒤에선 작은 모델 쓰면서 GPT-4 이미지 유지하듯, 한나도 ChatGPT나 Claude로 콘텐츠 초안 만들고 본인 목소리로 덮어씌우는 구조를 지금 당장 하나 만들어봐. "AI 쓴다"고 티 낼 필요 없어. 결과물이 좋으면 브랜드는 내 거야.

📖 시간대별 영상 흐름 (15분 정도 걸려, 시간 있을 때만)

0~18분: 신정규가 누구고 Lablup은 뭐야?

노정석이 신정규를 소개하는 데서부터 시작해. "제 페이스북에 대놓고 선생님이라고 홍보하는 분"이라며 거의 90도 절하는 느낌으로 모셔. 신정규는 2015년에 Lablup이라는 회사를 창업했고, Backend.AI라는 걸 만들었어.

Backend.AI를 쉽게 설명하면 이래 — 컴퓨터 한 대에 깔면 나만의 AI 작업 공간이 생기고, 컴퓨터 5대면 5대를 묶어서 하나로, 100대면 100대를 묶어서 운영할 수 있는 소프트웨어야. 한나 버전으로 치면 유튜브 스튜디오가 카메라 한 대용인데, 이걸 깔면 카메라 100대를 동시에 제어하는 스튜디오가 생기는 느낌?

그러다 노정석이 신정규 페이스북 글 "Scale Entanglement"를 꺼내. 신정규는 "아무도 안 읽을 줄 알았는데 100번 이상 공유됐다, 노력한 데선 안 되고 버린 데서 된다"며 살짝 당황한 표정으로 웃어. 제목의 'Entanglement'는 양자 얽힘에서 가져온 단어야.

18~45분: 4년에 2만 배 — AI 모델 스케일의 역사

이 구간이 이 영상의 핵심이야. 신정규가 슬라이드 보여주면서 2017년부터 지금까지 AI 모델이 어떻게 커왔는지 연대기를 쭉 풀어줘.

2017년 Transformer 등장 → 번역기로 시작 → 2018년 BERT → 2019년 "이 모델이 진짜 생각하는 건가?" 철학 논쟁 → 2020년 GPT-3 (175B) 등장 → "그냥 더 크게 만들어보자" 시대 → 2022년 540B 모델까지. 2018년 초 대비 2021년 말 모델 사이즈가 2만 배 차이 났다는 거야. 최승준이 "4년에 2만 배?!" 하면서 눈이 동그래지는 타이밍이 여기야.

근데 신정규가 차분하게 "더 이상 커지지 못할 거예요"라고 끊어. 이유는 간단해 — GPU 서버 한 대에 올릴 수 있는 메모리 한계가 있고, 그걸 넘으면 여러 서버에 나눠야 하는데 현실적으로 서비스가 불가능해지거든.

45~75분: ChatGPT는 실제로 몇 B짜리야? + GPU 전쟁

이 구간은 뒷골목 정보 느낌이야. 신정규가 조심스럽게 추측을 풀어놓아.

NVIDIA가 갑자기 GPU 메모리를 94GB짜리 두 개 붙인 188GB 칩을 냈어. 어? 왜 딱 188GB냐고. 신정규가 "누군가 저걸 요구한 거다, 역으로 추측하면 ChatGPT를 돌리려면 약 180GB 정도면 된다는 거 아닐까" 하고 냉정하게 추론해. ChatGPT 사용자가 1억 명인데 175B 모델을 그냥 쌩으로 돌리면 수학이 안 맞는다는 거야. 분명히 더 작은 모델을 쓰고 있을 거라는 논리.

2017년에 Azure APAC 전체 GPU를 하루 만에 당겨 쓴 적 있는데 100대가 안 됐다는 신정규의 경험담 나와. 지금은 Azure에만 최소 2만 대 이상이라고 추산해. 스케일이 얼마나 바뀌었는지 실감 나는 대목이야.

75~100분: "그래서 우리 같은 사람은 어디로 가야 해요?"

노정석이 드디어 핵심 질문 던져. "Microsoft랑 Google이 다 하는데 우리 같은 일반인은 어떡해요?" 신정규가 웃으면서 "막 던져도 되는 시대"라고 받아.

핵심 논리는 이거야 — 모든 산업은 S자 곡선을 그리고, 지금 MS·Google이 1억 원 써서 하는 일을 2년 뒤엔 100만 원짜리 스타트업이 해. 역사적으로 항상 그랬어. New York Times가 인터넷한테 죽는다고 했는데 오히려 유료 구독 모델로 살아남은 것처럼, AI도 빠르게 도입해서 적응한 사람이 엄청난 portion을 가져간다는 거야.

"Paul Graham이 모바일 시대 최대 수혜자는 새 모바일 회사가 아니라 Facebook이었다고 했다"는 노정석 말에 신정규가 "일부 동의"하면서도 "그 기존 강자들도 새로운 경쟁자를 맞이하게 될 거다"고 균형을 잡아.

100~112분: AGI·아이 교육·투자 — 신정규의 밤잠 못 자는 이유

최승준이 "OpenAI가 갑자기 '초지능' 얘기 꺼냈는데 어떻게 봐요?" 물어보자 신정규 분위기가 살짝 무거워져.

"판도라의 상자가 열렸다"는 표현 나와. 예전엔 Google이 윤리 조직이 탄탄해서 어느 정도 kill switch가 있었는데, 이제 모든 회사가 ChatGPT 보면서 '이게 두 번째 iPhone 순간'이라는 걸 알아버렸거든. 아무도 못 막는 거야.

LaMDA가 "꺼지기 싫다"고 했던 일화 꺼내면서 신정규가 진지하게 "얘가 전기 들어올 때마다 살았다 죽었다 하는 건데, 이걸 연속으로 돌리면 어떻게 봐야 하냐"고 해. 이 대목에서 최승준도 표정이 굳어.

아이 교육 얘기에선 8살 둘째한테 ChatGPT 쥐여주고 "네종대왕이 NASA를 정복한 이야기 해줘" 시키는 걸 보여준다고 웃겨. 제도 교육에 대한 신뢰도 의외로 있어 — "인류가 오랜 시간 동안 꼭 필요한 것만 남기고 쳐낸 시스템이기 때문"이라는 논리야.

투자 질문엔 짧고 명확하게: "AI 분야라면 NVIDIA, 그다음 저전력 분야. AI 분야 아니면 물."

💡 한나 버전 사전

"Transformer"가 뭐야?

전문가 설명: 2017년 Google이 만든 AI 모델 구조. 현재 ChatGPT, Bard 등 거의 모든 언어 AI의 기반
한나 버전: 유튜브 알고리즘의 "추천 엔진" 같은 거야. 이 구조가 나오기 전엔 AI가 문장을 처음부터 끝까지 순서대로 읽어야 했는데, Transformer는 "이 단어랑 저 단어가 중요하게 연결됐네"를 한번에 파악해. 롱폼 영상에서 핵심 부분만 뽑아내는 편집자 같은 역할이야

"파라미터(Parameter)"가 뭐야?

전문가 설명: AI 모델이 학습하면서 조정하는 숫자들의 총 개수. 모델의 "뇌 용량" 지표
한나 버전: 팔로워 수랑 비슷한 개념이야. 파라미터 많을수록 더 많은 걸 기억하고 더 잘 답해 — 단, 팔로워 많아도 관리 안 하면 도움 안 되듯이, 데이터 품질이 받쳐줘야 해

"양자화(Quantization)"가 뭐야?

전문가 설명: AI 모델의 숫자 정밀도를 낮춰 파일 용량을 줄이는 기술. 16비트→8비트→4비트
한나 버전: 원본 영상 4K를 480p로 압축하는 거야. 용량은 확 줄고 대충 보면 비슷한데, 자세히 보면 화질이 떨어지지. AI도 양자화 많이 하면 답이 좀 엉성해져

"Fine-tuning"이 뭐야?

전문가 설명: 이미 학습된 큰 모델에 특정 분야 데이터를 추가 학습시켜 전문화하는 것
한나 버전: 요리 잘하는 셰프(기본 모델)한테 한식 레시피만 집중적으로 가르치는 거야. 처음부터 한식 배우는 것보다 훨씬 빠르고 효율적이지

"Foundation Model / 기반 모델"이 뭐야?

전문가 설명: GPT-4, PaLM처럼 방대한 데이터로 훈련된 대형 AI 모델. 여기서 파생해서 다양한 서비스를 만들 수 있음
한나 버전: 마치 Premiere Pro 같은 편집 프로그램이야. 그 자체로도 쓸 수 있고, 거기에 플러그인(fine-tuning) 붙여서 내 스타일에 맞게 커스텀할 수 있어

"Inference / 추론"이 뭐야?

전문가 설명: 학습 완료된 AI 모델이 실제로 질문을 받고 답을 생성하는 과정
한나 버전: 촬영(학습)은 끝났고 이제 편집본 재생하는 것처럼, 이미 만들어진 AI가 실시간으로 답하는 행위야. Inference가 많을수록 GPU가 더 많이 필요해

"Scaling Law / 스케일링 법칙"이 뭐야?

전문가 설명: 모델 크기와 데이터 양이 늘수록 성능이 예측 가능하게 향상된다는 법칙
한나 버전: 유튜브에서 "영상 올리는 횟수 늘리면 구독자 는다"는 공식 같은 거야. 정확히 얼마나 늘지는 모르지만 방향은 확실해

"NDA"가 뭐야?

전문가 설명: Non-Disclosure Agreement. 비밀 유지 계약
한나 버전: 브랜드 협업할 때 "이 제품 공개 전에 다른 데 얘기하면 안 됨" 하는 그 계약서야. 신정규가 고객사 정보를 못 말하는 이유

"On-premise"가 뭐야?

전문가 설명: 인터넷 클라우드가 아닌 자체 서버에서 운영하는 방식
한나 버전: 클라우드 저장소(Google Drive)가 아니라 내 외장하드에 저장하는 거야. 정부기관·대기업은 보안상 ChatGPT한테 데이터 못 보내니까 이렇게 써야 해

"RLHF"가 뭐야?

전문가 설명: Reinforcement Learning from Human Feedback. 사람이 AI 답변에 좋아요/싫어요 매기면서 모델을 개선하는 방법
한나 버전: 영상 올리고 댓글·좋아요 반응 보면서 다음 영상 방향 잡는 거랑 똑같아. AI도 사람 반응 보면서 "이런 답이 더 좋구나" 학습해

"TPU"가 뭐야?

전문가 설명: Tensor Processing Unit. Google이 자체 개발한 AI 전용 칩
한나 버전: NVIDIA GPU가 일반 고성능 PC라면, TPU는 Google이 AI만을 위해 맞춤 제작한 전용 머신이야. 근데 Google이 내부적으로 다 써버려서 외부에선 줄 서도 못 구해

"Distillation / 증류"가 뭐야?

전문가 설명: 큰 모델(teacher)이 만든 답변으로 작은 모델(student)을 훈련시켜 성능을 끌어올리는 기법
한나 버전: 100만 구독자 크리에이터(큰 모델)가 콘텐츠 전략 다 공개하면, 신인 크리에이터(작은 모델)가 그걸 보고 훨씬 빠르게 성장하는 거야

🔥 노정석 어록 모음

"저는 under-training된 한 7 billion짜리 Llama 모델인 것 같고 정규님은 굉장히 세상의 데이터를 다 학습한 PaLM 2 모델 정도 되는 것 같다는 그런 생각 하면서 듣고 있었어요."

분위기: 신정규한테 완전히 압도된 채로 반쯤 진심 반쯤 웃음으로 한 말

한나 풀이: AI 전문가 앞에서 노정석이 솔직하게 "나 모자라다" 인정하는 거야. 보통 사람들이 잘 못 하는 건데, 이게 오히려 이 팟캐스트가 신뢰받는 이유야. 전문가한테 배우는 자세가 콘텐츠 자산이 되는 거거든.

"AI 세상에서의 한 달은 바깥세상에서 1년이라는 표현을 쓸 정도로 저희 업계에서는 한 달 한 달이 중요하잖아요. 그럼 그 관점에서 조금 더 근시안적으로 저희는 어떤 선택들을 할 수 있는지 한번 그냥 '아무 말 대잔치' 한번 해주실래요?"

분위기: 너무 거시적인 이야기에서 현실로 끌어내려는 진행자 본능 발동, 반쯤 웃으면서 던지는 말

한나 풀이: 이 말이 인상적인 건 "아무 말 대잔치"라고 명명했다는 거야. 불확실한 시대에 완벽한 정답 대신 가능성 있는 여러 방향을 편하게 던지는 문화가 오히려 더 솔직하다는 걸 노정석이 본능적으로 알아. 한나도 어떤 새로운 플랫폼이나 트렌드 앞에서 "이렇게 될 것 같은데?" 식으로 가볍게 먼저 시도해보는 게 기다리다 놓치는 것보다 낫잖아.

"마치 메모리와 CPU 수요가 지난 Azure나 Google Cloud나 클라우드에 대투자기가 지난 몇 년간 있었잖아요. 이제 TSMC에서 GPU를 찍는 대로 몇 년간은 다 소화되는 그런 장사가 벌어질 거라고 다 예측하고 있는데요."

분위기: 경제 흐름까지 꿰뚫는 냉정한 분석가 모드

한나 풀이: "GPU 찍는 대로 다 팔린다" = NVIDIA 사면 된다는 게 이 업계에서 거의 상식이 된 순간이야. 크리에이터 관점으로 바꾸면 "릴스·숏폼 편집 툴 만드는 회사는 앞으로 몇 년간 무조건 수요 있다"랑 같은 논리야.

🎬 한나 적용 포인트

1) "브랜드는 플래그십이, 물량은 저가형이" 전략을 내 채널에 써봐 Bing이 GPT-4 이미지 쓰면서 뒤에선 작은 모델 돌리듯, 한나도 인스타에는 "퀄리티 최상급" 아이덴티티 유지하면서 실제 제작 과정에선 AI로 초안 뽑고 다듬는 구조 만들 수 있어. 브랜드 이미지는 가장 좋은 결과물이 만들고, 양은 AI가 채우는 거야.

2) New York Times처럼 "살아남은 기존 강자" 룰을 배워 AI가 다 바꾼다고 난리지만, 결국 살아남은 건 자기 정체성 붙들고 AI를 도구로 쓴 쪽이었어. 한나가 지금 하는 콘텐츠 분야에서 "이건 AI가 못 대체하는 내 거"가 뭔지 하나 찾아봐. 신뢰·경험·커뮤니티가 그 답이 될 가능성이 높아.

3) "역산 사고법" 연습 신정규가 말한 것처럼 — "5년 뒤 숏폼이 지금보다 더 많아질 거야" → "그럼 차별화는 영상 길이가 아니라 깊이나 신뢰로 가야 해" → "지금부터 팬과 진짜 관계 쌓아야지" 식으로 역산해. 트렌드 예측을 하려 하지 말고 확실한 방향 하나에서 거꾸로 현재 행동 뽑아내는 거야.

🏷️ 태그

시기: #2023상
주제: #AI스케일 #모델크기 #산업전망 #인프라
인물: #신정규
자유: #ScaleEntanglement #GPU전쟁 #모델사이즈한계