[요약 정리] 삼성 AI 포럼 2021에는 어떤 발표들이 있었을까? (+다시 보기 링크)

삼성리서치에서 주관한 삼성AI포럼(SAIF 2021)은 11월 1일부터 2일간 온라인으로 진행되었다.

작년에는 취업 전이라 여유가 있어 거의 모든 발표를 듣고 정리했지만, 올해는 관심 주제의 발표만 요약하고 나머지는 키워드 정리만 남기려 한다. (작년 삼성AI포럼 핵심 정리를 보려면 이곳으로)

1일차

• Day 1 처음부터 보기 (한글 자막 제공)

키노트: GFlowNets for Scientific Discovery 바로 보기

Yoshua Bengio | University of Montreal

GFlowNet은 과학 연구에 특화된 머신러닝 툴이다. "블랙박스 최적화"를 활용했다.

기존의 능동 학습(active learning)에서 생성적 능동 학습(generative active learning)으로 발전된 형태인데, 단순히 최적화(optimize)하는 것을 넘어 다양한 좋은 답(solution)들을 찾는 것이 목적이다.

해당 논문: Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (Submitted to NeurIPS 2021)

논문 초록 요약:

이 논문은 연속적인 행동(action)으로부터 (분자 그래프 등의) 객체를 생성하기 위해 확률적 정책(stochastic policy)*을 학습하는 문제를 다룬다. 객체를 생성하는 확률은 주어진 긍정적인 보상에 비례한다. 일반적인 리턴 최대화 방법은 리턴을 최대화하는 하나의 시퀀스에 수렴하는 경향을 보이는데, 높은 리턴을 가지는 다양한 해결책들을 샘플링하는 것이 필요한 경우가 있다. (...) MCMC 방법도 가능하지만, (계산) 비용이 많이 들며 일반적으로 지역적으로 탐색하는 문제가 있다. (...) 시간차 학습(Temporal Difference learning)에서 영감을 받아 우리는 GFlowNet을 제안한다. 이는 flow network와 같이 생성적 방법에 기반하며, 서로 다른 궤도들이 같은 최종 상태를 산출하는 까다로운 경우를 가능하게 한다. (...)

* 강화학습에서 에이전트가 행동을 확률적으로 선택하는 방법) 

• 키워드: black-box optimization, reinforcement learning, generative active learning

첫번째 세션: 확장 가능한 & 지속 가능한 AI 연산 바로 보기

Session 1. Scalable & Sustainable AI Computing

　

1.1 Toward Energy-Efficient AI Computing

Changkyu Choi | Corporate SVP, Samsung Advanced Institute of Technology

AI 학습에 사용되는 전력 소모량, 그로인한 탄소 배출량이 엄청남.

하드웨어 효율성 극대화를 통해 해결하려고 함.

    1) 메모리 대역폭간 격차 해결

    2) 프로세서와 메모리 사이 데이터 이동 최소화 (ex. Near Memory Processing)

• 키워드: HPC, HBM-PIM, DRAM-optimized
  

1.2 Accelerating AI with Dataflow Computing

Kunle Olukotun | Stanford University

무어의 법칙은 점점 더 느려지고 있다.

트랜스포머 모델에 기반한 대규모 신경망 모델을 학습하는 것이 트랜드인 만큼 효율성 이슈가 더욱 중요해졌다.

같은 전력으로 성능 향상을 이루기 위해 노력 중.

1) 신경망 구조에 희소 연결(sparsely connect)을 사용해, 성능을 유지하면서 효율성을 높일 수 있다.

최근 주목받고 있는 그래프 신경망(GNN)에도 희소 연산이 자주 쓰인다.

2) 일반적으로 학습은 GPU로 한 뒤 추론은 CPU에서 독립적으로 수행하는데, 학습과 추론을 모두 수행하는 통합된 플랫폼을 사용하는 방식으로 효율성을 높일 수 있다.

3) 데이터플로우 방식의 GPU 연산

(그림 왼쪽) GPU 커널마다 순차적으로 연산시 오버헤드가 발생한다.

(그림 오른쪽) 지역성(locality)과 병렬성(parallelism)을 이용한 데이터플로우 방식. 동시에 실행되는 커널들간 통신이 온칩메모리를 이용하게 되어, 다수의 커널들이 동시에 실행되고 파이프라인 실행을 가능케 한다.

• 키워드: sparsely connected network, convergence (of training and inference), RDU, dataflow
  
  

1.3 Wafer Scale AI, The Path To Efficient AI Compute

Andrew Feldman | Founder & CEO, Cerebras Systems

• 키워드: Cerabras

두번째 세션: 과학적 발견을 위한 AI 바로 보기

Session 2. AI for Scientific Discovery

　

2.1 Expediting Materials Development and Predicting Pollution, AI for Science in Samsung

Young Sang Choi | Corporate VP, Samsung Advanced Institute of Technology

2.2 AI/ML in Materials Research and the Laboratory of the Future

Gerbrand Ceder | University of California, Berkeley

2.3 AI for Industrial Materials Design

Bryce Meredig | Founder & CSO, Citrine Informatics

세번째 세션: 신뢰할 수 있는 컴퓨터비전 바로 보기

Session 3. Trustworthy Computer Vision

　

3.1 What Makes Computer Vision Trustworthy?

Jae-Joon Han | VP of Technology, Samsung Advanced Institute of Technology

• AI 신뢰에 관련된 키워드:

    개인정보 보호 (privacy)

    안전성 (security)

    공정성 (fairness)

    견고성 (robustness)

    설명가능성 (explainability)

    투명성 (transparency)

    지속적인 학습 (continual learning)

3.2 Learning to See

Antonio Torralba | Massachusetts Institute of Technology

인간이 시각 정보를 학습하는 과정은 사실 정답(label)이 없는 데이터로 학습을 하는, 즉 비지도학습(unsupervised learning) 혹은 자기지도학습(self-supervised learning)에 가깝다.

적대적 생성 모델(GAN)을 이용해 "그려보면서 학습하기"도 가능한데, 신경망 구조에서 어떤 부분(노드)이 어떤 대상 혹은 특징을 표현하는지 해당 부분(노드)를 활성화/비활성화한 뒤 생성된 결과 이미지를 비교하며 확인할 수 있다.

비지도 대조 학습(unsupervised contrastive learning) 등 비지도 방식을 학습시킬 수 있는 시스템들이 활발히 연구되고 있다.

이미지 데이터 없이 시뮬레이션, 노이즈 데이터만으로 시각적 표현을 학습하는 방법도 가능하다. 이 방법은 재현하기도 쉽고, 시각 데이터의 전반적인 일반화된 특징을 학습하는데 효과적이다.

• 키워드: GAN, DatasetGAN, contrastive learning, noise process
  

3.3 Avoiding Pitfalls When Building Deep Learning Vision Systems

Daniel Bibireata | VP, LandingAI

AI 프로젝트의 수명 주기를 계획하고 진행하는 것이 중요하다. 수명 주기는 초기 범위 지정, 데이터 수집, 모델 학습, 배포를 포함한다.

특히 데이터 중심 접근이 중요하다. 컴퓨터비전 AI 테스크에 있어서 보통 데이터 수집에 80퍼센트의 시간이 소모된다.

많은 프로젝트에 대해 검사를 진행해봤는데, 모델을 발전시키는 것보다 데이터 품질을 향상시키는 것이 더 효과적이었다. 그 방법으로는 데이터를 레이블링(labeling)하는 사람들의 기준이 일관성(consistency) 있게 통일하는 등이 있다.

• 키워드: data-centric, labeling consistency

Panel Discussion 바로 보기

[Moderator] Youngsang Choi | Corporate VP, Samsung Advanced Institute of Technology

Yoshua Bengio | University of Montreal

Kunle Olukotun | Stanford University

Gerbrand Ceder | University of California, Berkeley

Antonio Torralba | Massachusetts Institute of Technology

Kathleen McKeown | Columbia University

Andrew Feldman | Founder & CEO, Cerebras Systems

준비된 질문들에 대해 패널들이 번갈아서 답변을 하는 방식으로 진행되었다. 

• 키워드: multi-purpose AI, data efficiency, out-of-distribution sample, GPT language model, analog neuromorphic processor, AI evaluation, data augmentation

2일차

• Day 2 다시 보기 (한글 자체 자막)

키노트: How to Augment Supervised Learning with Reasoning

Leslie Valiant | Professor, Harvard University

발표 주제와 관련해 발표자가 새로 출간한 책: 기계학습을 다시 묻다

• 키워드: PAC learning, robust logic, explainable AI

Panel Discussion

[Moderator] Daniel Lee | Corporate EVP, Samsung Research

Leslie Valiant | Professor, Harvard University

Joohyung Lee | Corporate VP, Samsung Research

Efi Tsamoura | Engineer, Samsung Research

• 키워드: logical reasoning of NN, symbolic AI, explainable AI

첫번째 세션: 미분가능한 카메라 바로 보기

Session 1. The Differentiable Camera

Felix Heide | Professor, Princeton University

컴퓨터비전에서 딥러닝을 활용한 이미지 데이터 처리 과정은 일반적으로 다음과 같다.

렌즈, 센서 -> 이미지 처리 프로세서 (ISP) -> 딥러닝

여기서 딥러닝 부분은 미분가능한 특징을 가지지만, ISP 부분은 그렇지 않다.

따라서 렌즈, 센서, ISP 등 하위 레벨의 블록들이 실패할 때 발생하는 엣지케이스들까지 신경망이 커버할 수 있는 학습이 요구된다.

ISP를 포함한 대부분의 하위 모듈도 미분가능하게 만들면, end-to-end로 미분가능한 카메라를 만들 수 있으며 이를 통해 위의 문제를 해결할 수 있다.

• 키워드: differentiable ISP, differentiable proxy function, optimization, domain transfer, PSF

두번째 세션: 회의적인 시각을 가진 사람들을 위한 (AI의) 해석가능성 바로 보기

Session 2. Interpretability for skeptical minds

Been Kim | Research Scientist, Google Brain

• 키워드: saliency map, sanity check, spurious correlation, TCAV

Panel Discussion

[Moderator] Daniel Lee | Corporate EVP, Samsung Research

Felix Heide | Professor, Princeton University

Been Kim | Research Scientist, Google Brain

Michael Brown | Principal Engineer, Samsung Research

Lightning Talks

Gleb Sterkin | Staff Engineer, Samsung Research

Michael Brown | Principal Engineer, Samsung Research

Jungmin Kwon | Staff Engineer, Samsung Research

Ibrahim Volkan Isler | Head of Center, Samsung Research

세번째 세션: 분자(molecule)를 더 잘 이해하기 위한 딥러닝 바로 보기

Session 3. Understanding matter with deep learning

Using deep learning to better understand molecules

Max Welling | Distinguished Scientist, Microsoft Research

• 키워드: computer simulation, GNN, normalizing flow

Panel Discussion

[Moderator] Daniel Lee | Corporate EVP, Samsung Research

Max Welling | Distinguished Scientist, Microsoft Research

Gregory Lewis Dudek | Vice President, Samsung Research

Lightning Talks

Abhinav Garg | Engineer, Samsung Research

Mohamed Abdelfattah | Staff Engineer, Samsung Research

Di Wu | Engineer, Samsung Research