#1. 딥러닝이란 무엇인가?

 

인공지능(Artificial Intelligence)은 보통의 사람이 수행하는 지능적인 작업을 자동화하기 위한 연구활동이라 칭할 수 있다. 초기의 인공지능은 사람이 주는 명시적 규칙을 바탕으로 만들어지는 하나의 프로그램이었다. 이러한 심볼릭AI(Symbolic AI)가 발전하며 흔히 인공지능의 역사에서 배우는 전문가 시스템(Expert System)이 만들어졌다. 이 심볼릭AI는 이미 정의된 문제에 대해서는 높은 정확도를 보이지만 불분명하고 명시되지 않은 규칙을 찾는 것이 어려워 이를 극복하고자 머신러닝이 등장한다. 

 

일반적인 프로그래밍은 규칙과 데이터를 통해 해답을 찾아낸다. 이에 비해 머신러닝(Machine Learning)은 명시된 규칙이 없고 데이터와 해답을 활용한 훈련(Training)을 통해 규칙을 찾아낸다. 머신러닝을 위해서는 세가지가 필요하다.

• 입력 데이터 포인트 : 실제 사용될 데이터 
• 기대 출력 : 데이터에서 출력하고 싶은 값 
• 알고리즘의 성능을 측정하는 방법 : 알고리즘의 오차를 측정하고 이를 기반으로 학습(Learning)하여 알고리즘 교정 

 

가장 중요한 문제는 입력 데이터를 기대 출력에 가깝게 만드는 표현(representaion)을 학습하는 것이다. 불특정한 데이터들을 의미있는 데이터로 변환하는 작업을 의미하며 학습은 결국 표현의 집합에서 더 의미있는 표현을 찾아가는 과정이다. 표현의 집합은 가설 공간(hypothesis space)이라는 미리 정의된 연산의 모음이다.

 

딥러닝(Deep Learning)은 이러한 표현을 찾아가는 새로운 방식 중 하나이다. 데이터를 학습하는 과정이 점진적으로 여러 층으로 나뉜다. 거의 모든 딥러닝이 이러한 층을 쌓아 올린 신경망(neural network) 모델을 사용한다. 실제 인간의 뉴런을 표방한다고 하나 사실 데이터로부터 표현을 학습하는 수학 모델이다. 신경망 모델에서 데이터는 각 층을 통과하며 점점 더 의미있는 표현을 위한 정제된 데이터로 변환된다. 입력을 정제된 데이터로 매핑하는 과정의 반복을 통해 최종적으로 기대 출력으로 매핑하는 것이라고 할 수 있다.

 

각 층에서 입력 데이터가 처리되는 과정은 가중치(weight)를 파라미터로 가지는 함수로 표현된다. 이 가중치는 가장 의미있는 표현을 찾기위한 방법이다. 이 방법을 우린 손실 함수(loss function)을 통해 평가한다. 쉽게 생각해서 실제값과 예측값의 차이를 보고 방법의 정확성을 판단하는 것이다. 평가된 방법은 그 평가지표를 기반으로 업데이트된다. 이를 역전파(Backpropagation)라고 한다. 이때 더 좋은 방법으로 업데이트가 될 수도 있고 더 좋지 않은 방법으로 업데이트 될 수도 있다. 이때 더 좋은 방법을 찾는 쪽으로 방법을 조금씩 수정해나가는 것을 최적화 함수(Optimizer)가 담당한다.