0~15분: "AI는 큰 모델만 답이다"는 공식, 의심해볼 때가 됐어

노정석이 오늘 논문을 꺼내면서 좀 흥분된 목소리로 시작해. 평소에 "우리 같은 작은 플레이어는 빅모델 못 만든다, 걍 GPT-4 가져다 쓰는 거 말고는 방법이 없다"고 믿어왔거든. 그런데 TinyStories 논문을 보고 "완전히 생각을 바꿨다"고 단호하게 말해. 마치 오랫동안 믿어온 신앙이 흔들린 사람처럼 진지해.

업계 분위기 설명도 해줘. ChatGPT 수준의 지능이 나오려면 최소 300억 개 파라미터(GPT-4는 2조 개)가 필요하다는 게 당연한 상식처럼 굳어 있었고, 노정석 자신도 이걸 그냥 받아들이고 있었대. 그래서 그동안 "직접 AI 만드는 건 포기하고, 대형 AI를 잘 가져다 쓰는 orchestration(조율)에 집중하자"는 전략을 갖고 있었는데, TinyStories 논문 하나가 그걸 뒤집어버린 거야.

논문을 쓴 사람도 소개해. 이스라엘 출신 수학자 Ronen Eldan인데, 원래 복잡한 기하학 연구를 하던 분이 갑자기 AI 언어 모델 판으로 건너온 케이스야. 최승준이 "수학자들이 AI 판으로 오는 데는 이유가 있을 것 같다"며 흥미롭다는 반응을 보여.

15~35분: TinyStories 논문 뜯어보기 — 작은 게 어떻게 잘할 수 있을까?

노정석이 논문 슬라이드를 화면에 띄우면서 본격 설명 들어가. 핵심은 이거야. 단어 2,000개(유치원 아이 수준)만 쓰는 동화를 GPT-4로 100만 편 만들고, 그 데이터로 아주 작은 모델을 학습시켰더니 훨씬 큰 GPT-2 XL(15억 파라미터)보다 훨씬 자연스럽고 논리적인 이야기를 썼어.

여기서 설명 중간에 최승준이 "잠깐, 저희 지식의 저주에 빠진 것 같은데요" 하면서 멈춰. 임베딩(embedding)이라는 용어를 그냥 쓰고 넘어가려 했는데, 모르는 사람 입장에서 짚고 가자고 제동을 건 거야. 노정석이 "단어를 외운다는 게 결국 그 단어를 머릿속에서 숫자 덩어리로 체화하는 거잖아, 그게 임베딩이야"라고 학창 시절 비유로 풀어줘. 두 사람이 "너무 깊게 가면 또 어려워지니까 퉁치고 가자"고 웃으면서 넘어가는 장면이 자연스러워.

데이터 다양성 얘기도 나와. GPT-4한테 그냥 "어린이 동화 만들어줘"라고만 하면 20%가 놀이터 미끄럼틀 이야기로 몰려버린대. 그래서 명사/동사/형용사 3개를 랜덤하게 뽑아 조합하고, "대화가 있어야 해" "교훈으로 끝나야 해" 같은 조건을 줘서 100만 개가 다 다르게 나오도록 설계한 거야. 프롬프트 설계가 얼마나 중요한지 보여주는 대목이야.

35~50분: "모델 크기가 딱 맞아야 한다" — 너무 작아도, 너무 커도 안 돼

노정석이 논문 결과를 설명하면서 핵심 인사이트를 꺼내. 모델이 너무 작으면 데이터 외우는 데 모든 능력이 다 쓰여서 추론(reasoning) 능력이 생길 여유가 없고, 반대로 모델이 너무 크면 이 좁은 데이터셋에 비해 용량이 과해서 오히려 엉뚱해진다는 거야. "딱 맞는 크기"가 있다는 거지.

이걸 학교 교육 비유로 풀어. 유치원생 수준 → 초등 → 중등 → 고등 → 박사, 이렇게 curriculum(교육과정)이 있듯이, AI도 목적에 맞는 난이도의 데이터셋과 그에 맞는 모델 크기 조합이 있다는 거야. GPT-4가 박사라면, TinyStories는 유치원생 수준. 그리고 노정석이 "돈 버는 실제 서비스는 중학교·고등학교 수준이면 충분해"라고 말해. 이 부분에서 표정이 확 밝아지는 게 느껴져.

SK텔레콤 콜센터 예시도 나와. 아무리 상담 전화가 많이 와도 실제로 다루는 주제는 엄청 좁은 도메인이잖아. 그걸 좋은 데이터로 정제해서 작은 모델에 때려 박으면, 거대 모델 필요 없이 훨씬 저렴하게 고품질 챗봇을 만들 수 있다는 거야. 음식점 메뉴 설명 봇도 예시로 나와.

50~72분: Andrej Karpathy의 llama2.c — 노트북에서도 돌아가는 AI

최승준이 바통을 받아서 자기가 직접 만져봤던 걸 공유해. Andrej Karpathy(전 테슬라 AI 총괄, OpenAI 공동창업자)가 TinyStories 데이터로 학습한 아주 작은 모델을 C 코드 파일 하나에 넣어서 공개했거든. GPU 없이 그냥 맥북 CPU로도 돌아가게 만든 거야.

최승준이 이걸 JavaScript 버전으로 포팅해서 브라우저에서 직접 돌려보는 데모를 보여줘. 화면에서 "Once upon a time..."으로 시작하는 이야기가 실시간으로 생성되는 걸 보면서 노정석이 신기해해. temperature를 0(=가장 확실한 답만)으로 주면 무조건 Lily가 등장한다고 웃어. 유치원생한테 어려운 질문 던지면 "아는 범위 안에서 어떻게든 답하려고 꼬이는" 그 느낌이 난다고.

최승준은 거기서 더 나아가서 Code Interpreter(GPT-4 코딩 도구)로 실험도 해봤어. 작은 모델이 생성한 어설픈 이야기를 GPT-4한테 다듬게 시키는 자동화 파이프라인을 만든 거야. "작은 모델의 엉뚱함을 오히려 창의성으로 활용하고, GPT-4가 정합성을 잡아주는" 조합. 두 사람이 "이거 정말 재밌는 시대다"라며 마무리.