[Neural Network 10] 다층 퍼셉트론 구현 실습

다층 퍼셉트론 클래스 정의

클래스 하나로 모든 기능을 담는 방식이 실무에서 가장 편합니다. 먼저 입력 노드 2개, 은닉 노드 2개, 출력 노드 1개로 가장 단순한 3층 구조를 정하고, __init__에서 가중치 w1~w6를 미리 고정값으로 선언해요.

랜덤 초기화 대신 고정값을 쓰면 학습 초반 로스가 빠르게 줄어 100번 만에 0.1 아래로 떨어지는 걸 볼 수 있어요. 변수명은 w1234, w56처럼 과거 영상과 연결해 기억하기 쉽게 했습니다.

시그모이드 함수도 클래스 안에 넣어 두면 forward, backward에서 매번 불러오기 편해요. 이렇게 큰 클래스 안에 forward, loss, backward, train까지 모두 넣으면 한눈에 전체 구조가 파악돼 유지보수도 쉬워집니다.

순전파와 손실 계산 구현

순전파는 입력 → 은닉 → 출력 순으로 행렬 곱을 차례대로 수행하는 과정이에요. x1, x2에 w1~w4를 곱해 z1, z2를 만들고 시그모이드로 h1, h2를 얻은 뒤, 다시 w5, w6을 곱해 최종 출력 ŷ를 계산합니다.

코드로는 np.dot을 두 번 쓰면 끝이라서 초보자도 10줄 안에 구현할 수 있어요. 손실은 MSE로 계산하는데, (y - ŷ)²의 평균을 구하는 방식입니다.

출력 노드가 하나라서 공식이 간단하고, 미분할 때도 -2*(y-ŷ)만 기억하면 됩니다. 실전에서는 이 손실 값을 100번마다 print해서 학습이 제대로 되고 있는지 바로 확인하세요.

역전파로 XOR 문제 해결하기

역전파는 출력층부터 거꾸로 가중치를 업데이트하는 단계예요. δ3을 먼저 구하고, δ3 × h1으로 w5의 기울기를 얻은 뒤 learning rate 0.1을 곱해 빼주는 방식으로 진행합니다.

행렬 연산이라 transpose가 필요하지만, 개념은 단순히 ‘체인룰로 미분을 연결한다’는 점만 이해하면 돼요. 100개의 XOR 학습 데이터를 만들어 1000번 반복 학습시키면, 0 0 입력에는 0.01, 1 0 입력에는 0.96처럼 명확한 결과가 나옵니다.

실무 팁: 처음엔 100번마다 로스를 출력하고, 로스가 0.05 이하로 떨어지면 학습을 멈추는 early stopping을 추가하면 시간을 크게 절약할 수 있어요. 다음 단계로는 PyTorch로 넘어가 더 복잡한 문제를 풀어보는 걸 추천합니다.