들어가며 지난 시간에는 신경망 학습을 위한 지표인 손실 함수에 대해서 알아보았습니다. 이번에는 신경망의 학습하는 과정에 대해서 설명하도록 하겠습니다. 확률적 경사 하강법(Stochastic gradient discent)을 이용한 신경망 학습과정을 한 문장으로 정리하면 1. 미니 배치 추출 -> 2. 기울기 계산 -> 3. 매개변수 갱신 -> 4. 1~3의 반복입니다. 이제부터 각 과정에 대해서 설명하겠습니다. 1. 미니 배치 추출 미니 배치란? 신경망 학습을 위해서 학습 데이터에서 랜덤으로 일부분만 추출한 데이터의 집합 미니 배치의 사용 학습을 시작하기 전 학습 데이터에서 일부분을 추출하는 과정입니다. 대부분 학습 데이터는 수 만에서 수 천만까지 매우 큰 용량을 가지고 있습니다. 신경망이 학습을 할 때..
