[키워드 핵심 정리] 'GAN 창시자'와 딥러닝 거장들의 불꽃 튀는 패널 토론!! GANs for Good 라이브 시청 후기

Philgineer 10월 01, 2020
역대급 패널들로 구성된 라이브 토론이었는데, 초대 링크를 제공 받아야 하는 데다가 새벽에 진행되어 시청한 사람이 많이 없을 것 같아 이렇게 요약 정리를 제공합니다.


머신러닝이나 딥러닝을 잘 모르는 분들도, 요즘 사진을 넣으면 고흐 그림이나 모네 그림처럼 만들어주는 신기한 프로그램이 있다는 걸 들어본 적이 있을 것이다. 이런 매력적이고 신기한 기능을 가능하게 하는 기술이 바로 Generative Adversarial Network (GAN, 적대적생성모델 혹은 생성적대립신경망) 이다. 이 모델은 확률 분포를 학습하는 생성기와, 서로 다른 집합을 구분하는 판별기로 구성된다. 생성기는 갈수록 점점 그럴듯한 가짜 데이터를 생성하고, 판별기는 갈수록 점점 진짜 데이터와 생성된 가짜 데이터를 잘 구분하게 서로 적대적으로 학습해가는 모델이다.

출처: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV 2017)


이 흥미로운 모델은 2014년 이안 굿펠로우(Ian Goodfellow)라는 이름부터 친근한 분이 처음 고안했고, 그 이후로 딥러닝에서 아주 뜨거운 관심을 받으며 다양한 발전을 이뤄왔다. 오늘 새벽 2시부터 3시 30분까지 유튜브 라이브 방송을 통해 5명의 딥러닝 거장들이 패널 토론이 있었는데, 그 이안 굿 아니 갓펠로우도 패널로 참여했다. 다른 패널로는 우선 코세라 (창립자이자) 강의로 유명한 앤드류 응(Andrew Ng) 교수, NVIDIA의 Animashree, UC 버클리 교수 Alexei, 그리고 스탠포드 CS 강사 Sharon이 나왔다. 자세한 목록은 다음과 같다.

  • Animashree Anandkumar, Director of machine learning research, NVIDIA
  • Alexei Efros, Professor at EECS Department at UC Berkeley
  • Ian Goodfellow, Director of Machine Learning in the Special Projects Group, Apple
  • Andrew Ng, Founder of DeepLearning.AI
  • Sharon Zhou, Computer Science, Stanford; Course Instructor, GANs Specialization



이안 굿펠로우, 앤드류 응 교수 외 3명의 GAN 토론 라이브



방송은 초대 받은 사용자들에 한정한 유튜브 라이브로 진행되었다. 나의 경우 코세라에서 초대 메일이 왔고, 무료로 신청한 후 전달 받은 링크를 통해 진입해 시청했다. 샌프란시스코 현지에서는 오전 10시 시작이지만 한국은 새벽 2시...였지만 그래도 궁금해서 시청했다. 이번 추석은 코로나 때문에 고향도 못 내려가고, 새벽에 내 조상님 대신 GAN 조상님을 보게 되었다.  라이브가 시작되고 10분 정도 지나자 세계 각지에서 7000 여 명의 시청자가 모여들었고, 후반부까지 거의 유지되었다. 한국인으로 보이는 아이디도 간혹 보였다.


방송은 다음 목차대로 진행되었다.
(10:00am: 한국 시간으로 02:00am)

  • 10:00am-10:05am: Event introduction
  • 10:05am-10:15am: Opening Keynote: Ian Goodfellow, Director of Machine Learning in the Special Projects Group, Apple
  • 10:15am-10:25am: Keynote: Role of interaction and disentanglement in training GANs: Animashree Anandkumar, Director of machine learning research, NVIDIA
  • 10:25am-11:05am: Panel discussion
  • 11:05am-11:20am: Q&A (post your questions in YouTube live chat)
  • 11:20am-11:30am: GANs Specialization course demo by Sharon Zhou, Computer Science, Stanford; Course Instructor, GANs Specialization



각 코너 별로 키워드와 주요 내용만 간략하게 살펴보겠다.



우선 처음 introduction은 말 그대로 인트로였고, 다음으로 이안 굿펠로우의 간략한 GAN 최근 연구 분야 소개 키노트가 있었다. Apple에서 일하고 있는 만큼 그와 관련된 기기의 AR과 QuickPath 기능에 GAN을 활용하고 있는 모습을 볼 수 있었다.

  • 키워드
Personalized GANufacturing
Environment Maps for AR
GANs for Simulated Training Data
GANs for QuickPath Data
GAN Data Generation for Good



다음으로 NVIDIA의 Anima의 키노트가 있었는데, 처음 보는 전문 용어가 난무하고 억양이 강해서 사실 반도 못 알아들었다. 그래도 PPT를 참고해 키워드를 뽑아봤다.

  • 키워드
Interaction and Disentanglement in GAN
Implicit competitive regularization in GANs
Solving for Nash Equilibrium
CGD for stronger ICR
semi-supervised disentanglement



패널 토론은 오늘의 메인 컨텐츠로서, Sharon이 주로 질문을 하고 나머지 네 명이 답변을 하는 형식으로 진행되었다. 편한 분위기에서 진행되어서 그런지 내용이 조금 중구난방이긴 했지만, 거장들의 대화를 엿들을 수 있는 것만으로도 충분히 흥미로웠다. 큰 흐름이 있는 토론은 아니었기에 흥미로웠던 대화 몇 가지를 소개하는 식으로 정리해보겠다.

1. Alexei: GAN 모델은 데이터 레이블링에도 매우 효과적이다.

2. 굿펠로우: 재단사에게 가상의 패션 모델을 얼마든지 생성해서 쓸 수 있는 프로그램이 이제 가능해지는 것과 같이, 무궁무진한 응용이 가능할 것이다. 개인적인 목표와 바램은 "신뢰성( reliability)"이다. Adam optimizer처럼 암묵적으로, 범용적으로 믿고 쓸 수 있는 모델이 GAN에서도 나오면 좋겠다.

3. 앤드류: (질문) GAN은 평가 척도(Evaluation Metrics)를 설정하기 어려워 곤란하다는 문제점도 제기되는데 어떻게 생각하는지?
Sharon: 일(과제, task)에 따라 다르다. GAN이 적절한 task가 있는 반면, 효과적이지 않은 task도 존재한다.

4. Alexei: 의대 입학생들에게 이런 말을 한다고 들었다. "5년 후 졸업하고 병원에서 일하기 시작할 때는, 이미 지금의 지식 중 절반 이상이 (최신 지식에 한해) 바뀔 것이다 " 나는 GAN에 있어서는 그 주기가 5년이 아니라 3개월이라 생각한다. 그렇기 때문에 나는 새로 나오는 모든 논문, 아이디어들을 다 알고자 하는 (집착적인) 노력은 하지 않는다.

5. Sharon: (질문) GAN 최신 아이디어들을 어떻게 섭렵하는지?
굿펠로우: 페이퍼 파티를 한다. 다만, 논문을 많이 읽는 것은 아니고 생산성 있는 토론을 자주한다.
Anima: 나도 마찬가지로 논문을 많이 읽는 것에 집착하지 않는다. 심지어 내 학생들에게도 논문을 많이 읽으라고 강요하지 않는다. 핵심 아이디어들이 중요하다.
Alexei: 나는 개인적으로는 논문을 많이 읽는다. 하지만 새로 나오는 모든 지식을 섭렵하려는 의도가 아니라, 그 자체가 흥미롭고 새로운 아이디어를 얻기 위해서 읽는다. 나는 오래된 논문들도 많이 읽는데, 최신 논문만 새로운 것이 아니라 오래된 논문도 매우 신선하고 좋은 것이 많다.

6. Alexei: GAN은 "도구"다. 이는 예술가들에게 창의성을 자유롭게 펼쳐줄(unleash) 것이다. ARTBREEDER 와 같은 웹사이트를 보라 (GAN으로 만든 예술품 전시 페이지다.) 예술에 있어 더 새롭고 똑똑한 도구는 예술을 더 창의적으로 흥미롭게 할 것이다.

7. 앤드류: GAN은 정말 창의적인 응용 가능성이 많이 남은 분야기 때문에, 얼른 뛰어들어라!

8. Anima: GAN을 이해하려면, 쉬운 머신러닝 모델부터 차근차근 해보면서 이해해나가는 게 도움이 될 것이다.



Q&A는 시간 사정 때문인지 매우 짧은 시간 동안밖에 진행되지 못했다. 방송 마지막까지 남은 5000 여 명의 대단히 열정적인 댓글 질문 공세는 아쉽게도 단 몇 개만 답변을 받을 수 있었다. 나도 질문을  했지만 답변은 역시 받을 수 없었다. (굿펠로우가 처음에 어떻게 GAN을 생각해냈는지, 혹시 EM 알고리즘에서 비유적으로 착안한 것이 아닌지)

1. 굿펠로우: NLP에도 GAN 연구가 활발히 진행되고 있다, 물론! (NLP GAN)

2. 앤드류: 어떤 ai 모델도 유용하기도 하지만, 문제를 만들 소지가 있다. (Ethical issue of deep fake)




마지막으로는 Deeplearning.ai의 새 강의 GANs Specialization을 소개하는 Walk-through 세션이 간단히 있었다. 흥미롭게 본 예로는 사진 편집기술에 있어 특정 사물을 자연스럽게 지우거나, 흐릿한 사진을 선명하게 바꾸는 것을 GAN으로 해결하는 것이 있었다. 

  • 해당 방송 영상은 이곳에서 다시 볼 수 있다.


댓글 쓰기

3 댓글