[핵심 정리] 갓샘숭의 섭외력! 딥러닝 거장들의 현장 토크 요약 (삼성AI포럼 2020)

Philgineer 11월 04, 2020

제가 삼성 AI 포럼 2020을 라이브로 시청하고 간단하게 요약하고 소개하는 글입니다. 행사는 어제와 오늘 아침 온라인으로 진행되었으며, 요슈아 벤지오, 얀 르쿤 등 정말 유명한 딥러닝 거장들이 참여해 최신 인공지능 연구에 관련해 발표를 했습니다.


목차는 다음과 같으며, 하단의 링크를 통해 다시 시청할 수 있습니다. 일부 표현에 있어 번역이 어색하거나 부정확할 수 있으며, 피드백을 받거나 추후에 발견 시 수정하겠습니다.


Day 1 다시 보기
Day 2 다시 보기




 DAY 1 11월 2일

09:00 - 09:05
Opening Remarks
(Kinam Kim)

다방면으로 드라마틱하게 발전해온 AI를 이용해 COVID-19과 같은 인류 문제를 어떻게 해결할 것인지. 이번 포럼에서는 AI의 현주소와 미래, 그리고 어떻게 그것이 인류에 도움이 될 지에 대해 집중할 것임.


09:05 - 09:30
Talk #1: Towards Discovering Causal Representations
(Yoshua Bengio)

요수아 벤지오는 몬트리올 대학 교수로, 오토 인코더를 제시하고 딥러닝에 대한 큰 공헌으로 2018년 제프리 힌튼, 얀 레쿤과 함께 튜링상을 수상했다. GAN을 만든 이안 굿펠로우 (이분의 발표도 요약한 포스트가 있으니 참조) 의 지도 교수며, 두 사람이 함께 쓴 [Deep learning(심층 학습) ]은 딥러닝 관련 교과서로 매우 인기가 많다.




암묵적인 지식 vs 말로 표현 가능한(verbalizable) 지식
딥러닝을 활용해 암묵적인 지식도 학습할 수 있을 것.
인간 인식에서 영감을 받은 점 강조.

Sparse factor graph in space of (high-level) Semantic variables
여기서 Semantic variable은 인과적(causal)임.

consciousness prior를 sparse factor graph로 변환한 본인의 연구 소개. (Bengio 2017)

인지하는 것에서, 의미적 층위에서 세상을 모델링하는 것으로.

인과 메카니즘 관련해 소개한 논문:

추가 소개 논문:
Learning neural causal models from unknown interventions (Ke et al 2019)
Dependency structure discovery from interventions (Ke et al 2020)


키워드:
Sparse factor graph
Semantic variables
Sparse change in abstract latent space
Causal models
Causal induction from intervention data



09:30 - 09:55
Talk #2: Energy Based Models for Self-Supervised Learning
(Yann LeCun)

얀 르쿤은 페이스북 AI 수장으로, CNN(Convolutional Neural Network, 합성곱 신경망)을 만들어 특히 컴퓨터 비전 & 딥러닝 분야에 큰 공헌을 해 2018년 요슈아 벤지오와 함께 튜리상을 수상했다.  LeNet의 Le가 이분의 이름에서 따온 것. (GoogLe Net에서 L이 대문자로 쓴 것도 이분에게 경의를 표하기 위함으로 알고 있다)



입력을 재구성하거나(오토 인코더 등을 기초로 하는 생성 모델을 염두에 둔 표현인 것으로 보임) 빈칸 채우기를 예측하는 방법 등을 통해, 스스로 레이블링이 가능한 Self-supervised learning 모델이 연구되고 있으며, 유용할 것이다.
 * 레이블링이 뭔지 모른다면: 머신러닝 한방 정리 1강

예측에 있어서 불확실(uncertainty)하고, 다양한 양상을 가지는(multi-modality) 특성을 어떻게 표현할 것인가?
이에 대해 제시하는 것: Energy-Based Models (EBM)
# Contrastive methods vs Regularized/Architectural methods

    1. Contrastive methods (대조하는 방법)

    관련 논문 소개:
    Denoising AD: discrete outputs (Vincent et al. 2008)
    BERT (Waswani 2018)
    RoBERTa (Ott 2019)

    Transformer Architectures

    Contrastive Embedding: 장점은 픽셀 단위 재구성 필요 없음. 단점은 negative mining이 어려움.
    관련 모델: DeepFace, PIRL, MoCo, SimCLR, Wav2vec 2.0
    사용하는 loss 함수: general margin loss, max likelihood, group loss 등


    2. Regularized/Architectural methods (구조적 방법)

    Basic idea: limit the volume of y space that can take low energy
    ex. k-평균 알고리즘

    관련 모델 소개:
    Latent-variable EBM (Architecture for multimodal output)
    Sparse coding
    RLVEBM: regularized or variational auto-encoder
    Variational auto-encoder & EBM
    Conditional regularized latent-variable EBM


    마지막에 다시 강조하며 마무리함.
    "셀프-지도 학습이 AI/ML의 미래다 (self-supervised leraning is the future of AI/ML)."


    키워드:
    Self-supervised learning
    Energy-Based Models (EBM)
    BERT
    Variational auto-encoder
    Regularized/Architectural methods




    # 가장 기대했던 두 분의 발표 이후의 발표들은 비교적 편안한 마음으로 시청했기 때문에, 개인적으로 인상 깊었던 일부 발표들의 소개만 간략하게 남긴다. 더 자세한 내용은 다시 보기 영상을 참고하길 바란다.


    09:55 - 10:20
    Talk #3: Meta-Learning: from Few-Shot Adaptation to Uncovering Symmetries
    (Chelsea Finn)


    현재 학습 모델 패러다임: 데이터셋 - 모델 - 평가

    개선 방법 1. Fine-tune
    하지만 이 방법은 적지 않은 양의 레이블 된 데이터를 필요로 함.

    제시하는 방법: Meta-learning

    관련 소개 논문:
    One-Shot imitation from observing humans (2018)

    키워드:
    Meta-learning
    Distribution shift
    Reparametizing


    10:55 - 11:20
    Talk #5: Towards End-to-End Speech Recognition
    (Tara Sainath)

    관련 소개 논문:
    CTC (Connectionist Temporal Classification, 2006)
    Attention-based Encoder-Decoder Models (Chan 2015)

    키워드:
    End-to-end ASR
    CTC based End-to-End ASR




     DAY 2 11월 3일


    09:00 - 09:25
    Opening Keynote
    (Sebastian Seung | Corporate President of Samsung Electronics)


    인간 중심 AI (응용, 활용에 집중)에 연구 관심이 많다.
    Generative model에도 관심이 많다. 학습된 생성 모델을 TV에 내장해 HD->8K 화질 변환해주는 기능 등의 연구가 진행 중임.





    Sessions

    2일차에는 자연어처리, 비전, HRI, 로보틱스 4가지 AI 분야 Session이 준비되어 있었다. 관심 있는 분야가 있다면 다시 보기로 시청하면 좋을 것이다.


    Session1. Natural Language Processing
    (Christopher Manning | Stanford University)

    Session2. Vision
    (Devi Parikh | Georgia Institute of Technology)

    Session3. Human Robot Interaction
    (Subbarao Kambhampati | Arizona State University)

    Session4. Robotics
    (Daniel Lee | Cornell Tech & Corporate Executive Vice President of Samsung Electronics)

    댓글 쓰기

    2 댓글