[2024-2] 문지영 - deeplearning: Introduction

https://www.deeplearningbook.org/contents/intro.html

https://www.deeplearningbook.org/contents/intro.html

 

I. 인공지능이란

0. 인공지능의 가능성

 프로그래밍이 가능한 컴퓨터가 등장했을 때부터 이러한 기계가 인간과 같은 지능을 갖출 수 있을까에 대한 궁금증이 있어왔음. 인간에게는 직관적이고 쉬운 문제인 단어 인식이나 이미지에서 특정 얼굴을 알아보는 것과 같은 문제가 컴퓨터에게는 어려운 과제.

 컴퓨터는 개념들의 계통구조를 이용하여 경험으로부터 배우고 세상을 이해할 수 있음. 복잡한 개념의 하위 개념, 그리고 그 개념의 하위 개념으로 내려가는 계통구조를 활용: 심층학습deep learning

 

• 기계학습

형식 언어로 인공지능을 만드려는 노력은 실패했음 - 이러한 하드코딩으로 인공지능을 만드는 것은 어렵기 때문에 결국에는 기계가 원본 데이터에서 패턴을 추출하여 스스로 지식을 갖출 수 있도록 하는 능력이 필요함: 기계학습machine learning

1.1 서로 다른 자료 표현의 예

기계 학습의 성과는 주어진 자료의 표현representation에 크게 의존하기 때문에 주어진 과제에 맞는 적절한 특징 집합을 추출하고 알고리즘을 적용하는 것이 중요함.

 

• 표현학습

어떤 특징을 추출해야 할지 알기 어려울 때에는, 표현 그 자체 또한 인공지능이 기계학습 알고리즘으로 배우게 할 수 있음: 표현학습representation learning

대표적으로 autoencoder: encoder + decoder 

 

1.4 인공지능의 범위

1.  심층학습의 역사적 추세

1.7 Google Books에서 각 단어의 언급빈도

(1) 1940-1960년대: cybernetics

(2) 1980-1990년대: connectionism

(3) 2006년- : deep learning 

 

선형모형의 등장: 1950년대에 퍼셉트론이 최초로 등장했고, adaptive linear element(ADALINE)도 같은 시기에 나타났음.

연결주의: 병렬 분산처리, 분산 표현(distributed representation)의 개념 등장. 역전파 알고리즘의 성공적 적용

deep learning의 발전: greedy layer-wise pretraining을 통해 효율적 훈련이 가능해짐으로써 이전보다 더 깊은 신경망의 훈련이 가능해졌음

 

• 최근의 다른 변화들
  • 자료 집합 크기의 증가: 자료 집합의 크기가 증가함에 따라 기대되는 숙련도의 수준은 감소함.
  • 모형 크기의 증가: 1980년대에 비해 훨씬 큰 모형을 실행할 수 있는 계산 자원이 크게 발전했기 때문. 범용 GPU의 대중화에 따라 뉴런 수의 개수가 대폭 증가한 신경망 모델을 사용
  • 정확도, 복잡도, 영향력의 증가: deep learning의 예측 정확도가 꾸준히 개선되었음. visual recognition 대회에서의 오류율이 크게 줄어들었음

1.12 ImageNet 시각 인식대회에서의 오류율.