[2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝(CH 4.5): 학습 알고리즘 구현하기

1. 신경망 학습 개요

신경망 학습은 가중치 매개변수와 편향을 조정하여 학습 데이터를 모델에 최적화하는 과정이다.

1.1 학습 알고리즘의 4단계

1. 미니배치
   • 훈련 데이터에서 일부를 무작위로 선택하여 미니배치를 만든다.
   • 미니배치의 손실 함수를 최소화하는 것이 목표.
2. 기울기 산출
   • 손실 함수를 줄이기 위해 각 가중치의 기울기를 구한다.
   • 기울기는 손실 함수 값이 가장 작아지는 방향을 나타냄.
3. 매개변수 개선
   • 가중치 매개변수를 기울기 방향으로 업데이트한다.
4. 반복
   • 1~3단계를 반복하여 최적 가중치를 찾는다.

이 방법을 확률적 경사 하강법(SGD, Stochastic Gradient Descent) 이라고 한다.

---

2. 2층 신경망 구현하기

2층 신경망(은닉층 1개)을 하나의 클래스로 구현한다.
이 클래스는 TwoLayerNet이며, 신경망의 기본 구조를 정의한다.

2.1 TwoLayerNet 클래스의 개요

이 클래스는 다음과 같은 기능을 포함한다.

변수/메서드 설명

params	가중치 및 편향 저장 (딕셔너리 형태)
grads	기울기 저장 (딕셔너리 형태)
__init__()	네트워크 초기화
predict()	예측 수행
loss()	손실 함수 값 계산
accuracy()	정확도 계산
numerical_gradient()	기울기 계산

---

2.2 TwoLayerNet 클래스 코드 및 설명

import numpy as np
import sys, os
sys.path.append(os.pardir)
from common.functions import *
from common.gradient import numerical_gradient

class TwoLayerNet:
    def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):
        # 가중치 초기화
        self.params = {}
        self.params['W1'] = weight_init_std * np.random.randn(input_size, hidden_size)
        self.params['b1'] = np.zeros(hidden_size)
        self.params['W2'] = weight_init_std * np.random.randn(hidden_size, output_size)
        self.params['b2'] = np.zeros(output_size)

    def predict(self, x):
        W1, W2 = self.params['W1'], self.params['W2']
        b1, b2 = self.params['b1'], self.params['b2']

        a1 = np.dot(x, W1) + b1
        z1 = sigmoid(a1)
        a2 = np.dot(z1, W2) + b2
        y = softmax(a2)

        return y

    def loss(self, x, t):
        y = self.predict(x)
        return cross_entropy_error(y, t)

    def accuracy(self, x, t):
        y = self.predict(x)
        y = np.argmax(y, axis=1)
        t = np.argmax(t, axis=1)

        accuracy = np.sum(y == t) / float(x.shape[0])
        return accuracy

    def numerical_gradient(self, x, t):
        loss_W = lambda W: self.loss(x, t)

        grads = {}
        grads['W1'] = numerical_gradient(loss_W, self.params['W1'])
        grads['b1'] = numerical_gradient(loss_W, self.params['b1'])
        grads['W2'] = numerical_gradient(loss_W, self.params['W2'])
        grads['b2'] = numerical_gradient(loss_W, self.params['b2'])

        return grads

2.3 코드 설명

• 가중치 초기화 (__init__)
  • params 딕셔너리에 가중치(W1, W2)와 편향(b1, b2) 저장
  • 가중치는 정규 분포를 따르는 랜덤 값으로 설정
  • 편향은 0으로 초기화
• 순전파 (predict)
  • x → W1, b1 → z1 → W2, b2 → y 순으로 계산
  • 활성화 함수는 sigmoid(), 출력층은 softmax() 사용
• 손실 함수 (loss)
  • 교차 엔트로피 오류 사용
• 정확도 계산 (accuracy)
  • 예측값과 실제 정답을 비교하여 정확도 반환
• 기울기 계산 (numerical_gradient)
  • numerical_gradient() 함수 사용하여 각 가중치의 기울기 계산

---

3. 미니배치 학습 적용

3.1 미니배치 학습 코드

from dataset.mnist import load_mnist

(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)

network = TwoLayerNet(input_size=784, hidden_size=50, output_size=10)

iters_num = 10000
train_size = x_train.shape[0]
batch_size = 100
learning_rate = 0.1

train_loss_list = []

for i in range(iters_num):
    batch_mask = np.random.choice(train_size, batch_size)
    x_batch = x_train[batch_mask]
    t_batch = t_train[batch_mask]

    grad = network.numerical_gradient(x_batch, t_batch)

    for key in ('W1', 'b1', 'W2', 'b2'):
        network.params[key] -= learning_rate * grad[key]

    loss = network.loss(x_batch, t_batch)
    train_loss_list.append(loss)

3.2 코드 설명

• load_mnist()로 데이터 불러오기
• 학습을 10,000번 반복하며 가중치를 업데이트
• 미니배치 크기는 100으로 설정
• 손실 함수 값 기록

---

4. 모델 평가

4.1 평가 코드

train_acc_list = []
test_acc_list = []

iter_per_epoch = max(train_size / batch_size, 1)

for i in range(iters_num):
    if i % iter_per_epoch == 0:
        train_acc = network.accuracy(x_train, t_train)
        test_acc = network.accuracy(x_test, t_test)
        train_acc_list.append(train_acc)
        test_acc_list.append(test_acc)
        print("train acc, test acc :", train_acc, test_acc)

4.2 결과 해석

• 학습이 진행됨에 따라 훈련 데이터와 시험 데이터의 정확도가 증가
• 오버피팅이 발생하지 않음

 

1. 신경망 학습 과정에서 미니배치를 사용하는 주된 이유는 무엇인가?

① 학습 속도를 빠르게 하기 위해
② 모든 데이터를 한 번에 학습하면 정확도가 떨어지기 때문에
③ 확률적 경사 하강법(SGD)을 적용하기 위해
④ 메모리를 절약하기 위해

 

2. 다음 중 신경망에서 손실 함수(Loss Function)의 역할로 가장 적절한 것은?

① 입력 데이터를 신경망에 전달하는 역할
② 신경망이 예측한 값과 실제 정답의 차이를 측정하는 역할
③ 가중치를 랜덤하게 초기화하는 역할
④ 학습된 신경망의 성능을 평가하는 역할