요슈아 벤지오

1. 개요[편집]

---

요슈아 벤지오는 캐나다의 컴퓨터 과학자이다.

2. 상세[편집]

---

딥러닝 분야에서 저명한 연구 실적을 보여준 바 있다.[3]

3. 연구 업적[편집]

---

요슈아 벤지오 교수는 1986년도 Back Propagation 논문을 접한 후 신경망을 이용한 인공지능 분야를 연구하게 된다. 그 후 이 분야의 또다른 대가인 얀 르쿤과 제프리 힌튼과 함께 끊임없는 협엽을 통해 현대 딥러닝을 시스템을 완성하게 된다.

먼저 그는 90년대 초반 얀 르쿤과 함께 컨볼류션 신경망을 이용하여 우편물을 분류해 냄으로서 ("Gradient-based learning applied to document recognition") 신경망 연구의 새로운 지평을 열게 된다.

그는 또한 1990년대 부터 꾸준히 Recurrent Neural Network (RNN)를 통해 순차적인 의사결정을 모델링 하려고 노력하였으며, 이는 현대 언어 모델의 토대가 되었다. 이러한 노력들을 통해 결국 2014년도 그의 제자인 Dzmitry Bahdanau 와 조경현 당시 박사후 연구원과 함께 저술한 "Neural Machine Translation by Jointly Learning to Align and Translate" 라는 논문을 통해 발표되며 신경망을 통한 번역 방법의 새로운 패러다임을 제시할 수 있었다. 이때 등장한 Bahdanau Attention 이라는 개념은 2017년 구글의 "Attention is All You Need" 라는 논문의 토대가 되어 현대 언어 모델의 핵심인 Transformer의 탄생에 크게 일조하였다.

2014년의 신경망 기반 번역 패러다임을 제시한 것과 동시에, 제자인 이안 굿펠로우와 함께 신경망을 통해 사진을 생성하는 Generative Adversarial Networks (GAN)를 제안하여 신경망의 활용도를 생성형 AI로 확장하였다. GAN은 신경망을 통해 단순 분류 작업 목표로 하던 기존의 통념을 넘어 신경망이 새로운 데이터를 생성 할 수 있다는 것을 보여주면서 AI 연구의 큰 확장을 가져다 주었다.

요슈아 벤지오 교수는 종종 딥러닝의 창시자 라는 칭호로도 불려지는데, 이는 기울기 소실문제로 발생한 2차 AI 겨울을 종식한 획기적인 기여를 했기 때문으로 여겨진다. 요슈아 벤지오와 제프리 힌튼 교수는 각각의 시간차를 두고 2006년 각각 Deep Network를 Layer 별로 쪼개서 기울기 소실 없이 순차적으로 학습하는 방법을 제시한다. 2006년에 발표된 두 학자의 시도들은 다시 한번 신경망 연구의 활기를 불어넣어 주면서 신경망을 깊게 쌓아 올린 "Deep Learning"에 대한 가능성을 확인 하게 해 주었다. 이러한 2006년의 연구들로 2차 AI 겨울은 종식된 것으로 평가되었다.

그 이후 요슈의 벤지오는 수제자인 Xavier Glorot와 함께 Xavier Initialization 라는 방법을 제안하여 딥러닝 학습을 더욱 안정시켰으며, "Deep Sparse Rectifier Neural Networks" 논문을 통해서 ReLU activation을 딥러닝 학습에 적용 (비슷한 시기에 제프리 힌튼 연구팀에서도 Restricted Boltzmann Machine에 ReLU를 적용하였음), 2006년에 제시되었던 Layer-wise pretraining 방법 없이도 기울기 소실 문제를 해결 할 수 있게 되었다. 이는 현대 딥러닝에서 아무리 깊은 모델이라도 기울기 소실 문제없이 한번에 학습 (기존에는 여러 단계로 쪼개서 미리 학습시켜야 했음) 할 수 있게 되면서 실용성과 성능의 큰 향상을 불러오게 되었다.

결론적으로 요슈아 벤지오는 제프리 힌튼, 얀 르쿤과 끊임 없는 협업과 선의의 경쟁을 통해 딥러닝의 성공을 확신하고 밑그림을 그렸으며, 많은 학자들이 포기 했던 (혹은 무시했던) 딥러닝의 한계점들을 적재적소에 극복하며 현대 AI 모델의 큰 성공에 기여하였다.

그는 현재에도 현역 연구자로써 인과추론, 일반화 추론 등 AI의 난제들을 딥러닝 세계관을 확장함으로서 풀려고 시도하고 있다. 또한 고도로 발전된 AI가 인간의 의도와 다르게 행동 할 수 있는 문제를 매우 심각하게 바라보고 있고 (초지능 정렬 문제) 잘못된 윤리관을 가진 인간 집단이 강력한 AI를 소유하여 남용하는 것을 경계하고 있다.

4. 일생[편집]

---

전자공학 학사를 받은 뒤, 컴퓨터과학 분야로 석사와 박사를 거쳤다. 석사 과정에서 제프리 힌튼 교수의 (오차)역전파 알고리즘 논문을 접한 뒤에 당대 비주류였던 연결주의 인공신경망에 빠지게 되었다고 한다.

졸업 이후에는 마이클 I 조던 교수의 연구실과 얀 르쿤 교수의 연구실에서 박사후연구원으로 있었다. 1993년부터 몬트리올 대학교에서 교수로 활동 중이다.

2016년, 인공지능 벤처기업인 ElementAI를 설립했다.

2018년, 딥러닝에 대한 기여로 ACM 튜링상을 수상하였다.

2020년, ServiceNow에 ElementAI를 매각한 뒤, 회사 자문으로 활동하고 있다.

2023년 5월, 본인의 블로그에 2001 스페이스 오디세이의 HAL 9000의 사진까지 올리며 악당 인공지능의 탄생 위험과 그에 대한 잠재적 시나리오에 대항 사견을 피력했다. 더 나아가, 우리가 경험한 바 있는 핵의 위험성 이상으로 중요한 사안이라고 주장했다. 보안에 대한 투자, 국제적 공조, 인공지능이 필요한 이유를 대중에게 납득시키기 등을 주장한다.#

5. 여담[편집]

---

• 유대인이다.
• 애플에서 연구원으로 활동중인 새미 벤지오의 친형이다.
• 삼성전자와 협업하여 캐나다에 인공지능 연구소를 건설한 바 있으며, 이재용 회장의 자문 파트너라고 알려져 있다.
• 인공지능 신중론자이다. 자세한 내용은 인공지능/논란 문서 참조 바람.