0~15분: "일단 시스템이 뭔지부터 — LTI랑 Convolution 첫 등장"

노정석이 시작하자마자 솔직하게 터놓아. "전자과에서 한 학기 수업인데, 이걸 1시간 반에 한다는 건 말이 안 됩니다." 그러면서 웃음. 그러나 바로 칠판 앞에서 진지 모드로 전환.

시스템이라는 건 x[n]이라는 입력 시퀀스가 들어가면 y[n]이라는 출력이 나오는 블랙박스야. 여기서 LTI(Linear Time-Invariant, 선형 시불변 시스템)를 가정하는데, 선형이라는 건 "입력에 상수 곱해서 더한 것"만 다룬다는 뜻이고, 시불변이라는 건 "입력을 늦게 넣으면 출력도 똑같이 늦게 나온다"는 뜻이야.

노정석이 왜 제곱 같은 비선형은 안 다루냐고 학생 때 물어봤다고 해. 답: "어려워서." 이 한 마디가 웃기면서 핵심이야. 수학이 아직 못 풀어서 현실 타협으로 선형만 다루는 거라고. 그리고 이 선형 시스템의 출력 수식을 쭉 전개하다 보면 자동으로 Convolution 공식이 툭 튀어나와.

---

15~35분: "Convolution 수식 등장 — 진짜 핵심은 여기야"

노정석이 긴장감을 올리면서 말해. "이게 제일 중요합니다. 이게 Convolution이에요. Convolutional Neural Network가 이거라니까요." 분위기가 갑자기 진지해지는 구간.

핵심은 이거야. 어떤 시스템이 블랙박스일 때, 그 시스템에 "1, 0, 0, 0…"만 넣어봐. 그때 나오는 출력을 impulse response(h[n])라고 불러. 이 h[n]만 알면 어떤 입력 x[n]을 넣어도 출력이 뭔지 계산할 수 있어. 그 계산법이 Convolution이야. x[n]과 h[n]을 곱하고 더하는 것 — 딱 dot product(벡터 내적)이야.

CNN에서 필터가 이미지 위를 훑고 다니면서 "곱하기 더하기"를 반복하는 게 바로 이 Convolution이야. 노정석이 "왜 CNN 논문에서 수식을 n-k로 안 썼는지 이상했다"고 털어놓는데, 결론은 "뒤집으나 안 뒤집으나 weight는 같으니까 그냥 쓴 거더라고요"라며 납득하는 표정.

---

35~60분: "Fourier Transform 등장 — 주파수 세상으로 넘어가자"

이 구간이 제일 빠르고 빡세. 노정석 본인도 "한 학기를 10분에 얘기한다는 게 말이 안 된다"면서 달린다.

어떤 신호든 여러 개의 파형(정현파)의 합으로 표현할 수 있어. 그걸 주파수별로 분해하는 도구가 Fourier Transform이야. 예시로 spectrogram(성문, 목소리 지문 분석 그래프)을 보여줘. 뉴스에서 범죄자 목소리 분석할 때 나오는 그 그래프. 시간 축에서는 안 보이는 정보가 주파수 도메인으로 가면 보여.

왜 허수(j)가 들어가냐는 질문에 노정석이 명쾌하게 답해. "그냥 계산하기 편해서예요. 코사인하고 사인을 한 번에 표현하려니까." 수학이 고상한 이유가 아니라 실용적 이유로 허수를 쓴다는 거야.

FFT(Fast Fourier Transform, 빠른 푸리에 변환)도 등장하는데, 원래 N² 시간이 걸리던 걸 짝수·홀수로 쪼개서 N log N으로 줄인 알고리즘이야. 1965년 Cooley-Tukey가 만든 거. 노정석이 "merge sort 하듯이 하는 거예요"라고 한 마디로 정리.

---

60~75분: "Convolution = 주파수 도메인에서의 곱하기 — 이게 왜 중요한가"

이 구간이 전반부의 결론이자 CNN 이해의 진짜 열쇠야.

시간 축에서 Convolution하는 것 = 주파수 도메인에서 그냥 곱하는 것. 이게 증명이 되는 순간. 노정석이 ChatGPT한테 증명 시켰다면서 결과를 그대로 보여줌. 웃기면서도 핵심.

이게 왜 중요하냐? CNN의 필터를 학습한다는 게 결국 주파수 도메인에서 "어떤 주파수를 얼마나 강조할지" 자동으로 설계하는 거야. 블러 필터는 저주파만 통과, 윤곽선 필터는 고주파 강조. CNN이 학습으로 이 필터를 스스로 만들어낸다는 거지. 사람이 손으로 설계하는 게 아니야.

---

75~95분: "드디어 CNN — LeNet-5 실제 구조 뜯어보기"

"드디어 이제 Convolutional Neural Network를 설명할 수 있습니다"라고 노정석이 말하는 구간. 약간의 안도감과 흥분이 섞인 톤.

LeNet-5(1998년 르쿤 교수 논문, 손글씨 숫자 인식)를 예시로 써. 32x32 이미지에 5x5 필터를 훑고, max pooling으로 절반씩 줄이고, 피처 맵을 여러 장 만들어 나가는 구조. 중간에 청중 한 명이 "커널이 3차원인 거랑 같은 거죠?"라고 물어보자 노정석이 "맞아요, 그렇게 봐야죠"라고 확인해줘.

max pooling에 대해 노정석이 "수학에서 무슨 max를 하나 저는 이상하긴 했어요"라고 솔직히 털어놓으면서, 생물학적 해석(인간 시각세포가 있다·없다만 인식하는 세포와 detail 보는 세포로 나뉜다)도 소개해. 코드는 PyTorch로 LeNet 전체가 짧은 코드 두 개로 끝남.

---

95~95분 24초: "ResNet — 깊게 쌓아도 망하지 않는 구조"

ResNet(Residual Network, 잔차 네트워크)의 핵심은 skip connection이야. 레이어를 깊게 쌓으면 오차 신호가 앞으로 전달될 때 계속 곱하기를 거쳐서 0에 가까워져 학습이 안 돼. 이걸 기울기 소실(vanishing gradient)이라고 해.

ResNet은 입력값을 그냥 건너뛰어서 더해줌으로써 "오차 신호의 우회로"를 만들어. 그 결과 34층이 18층보다 잘 되는 역전이 일어나. ResNet-50의 bottleneck 구조(1x1 → 3x3 → 1x1 필터를 블록으로 묶는 것)도 설명하고, 코드도 결국 짧은 두 개 파일로 끝난다고 강조하면서 마무리.

---