Normalization 모두 이해하기 [Batch Norm, Layer Norm, instance Norm]

1. 노말라이제이션의 필요성

노말라이제이션은 딥러닝 모델의 학습 과정에서 데이터의 분포를 조정하여 학습을 안정적으로 만드는 기법이에요. 예를 들어, 데이터가 불균형하게 분포되어 있을 경우, 모델은 특정 패턴에만 치우쳐 학습하게 되죠. 이때 노말라이제이션을 통해 데이터를 정규화하면, 모델이 더 균형 잡힌 방식으로 학습할 수 있도록 도와주는 역할을 해요.

여기서 중요한 점은 노말라이제이션이 단순히 데이터의 평균과 분산을 맞추는 것이 아니라, 학습 안정성을 높이고, 가속화하는 데 목적이 있다는 거예요. 학습 과정에서 데이터의 분포가 자주 변동한다면, 모델은 이를 적절히 대응하지 못해 성능 저하를 겪을 수 있는데, 노말라이제이션이 이를 방지해준답니다.

2. 배치 노말라이제이션(Batch Normalization)

배치 노말라이제이션은 딥러닝 모델에서 가장 많이 사용되는 노말라이제이션 기법 중 하나예요. 이 기법은 각 배치의 평균과 분산을 계산하여, 해당 배치의 데이터를 정규화하는 방식으로 작동해요. 즉, 학습할 때 사용하는 여러 샘플을 한 번에 모아서 평균과 분산을 구하고, 이를 기반으로 데이터의 분포를 조정하는 거죠.

예를 들어, 배치 사이즈가 10이라면, 10개의 데이터 포인트의 평균과 분산을 구하고 이를 통해 정규화를 진행해요. 이 과정은 모델이 다양한 데이터에 대해 더 잘 일반화할 수 있도록 도와주죠. 배치 노말라이제이션은 학습 속도를 높이고, 오버피팅을 줄이는데 특히 효과적이에요. 하지만 이 기법은 배치 크기가 작을 경우, 예를 들어 소수의 샘플로 학습할 때 성능이 저하될 수 있다는 단점이 있답니다.

3. 레이어 노말라이제이션과 인스턴스 노말라이제이션

레이어 노말라이제이션은 배치 노말라이제이션과 달리, 각 레이어의 모든 뉴런에 대해 정규화를 진행해요. 즉, 데이터가 배치 단위가 아닌 레이어 단위로 정규화되죠. 이 방식은 특히 자연어 처리와 같은 가변 길이의 데이터에 적합해요. 레이어 노말라이제이션은 입력의 길이에 관계없이 각 레이어의 출력을 정규화하기 때문에, 더 유연한 구조를 제공해요.

반면 인스턴스 노말라이제이션은 주로 이미지 생성과 같은 작업에서 사용돼요. 이 기법은 각 인스턴스, 즉 각 개별 샘플에 대해 정규화를 수행하죠. 예를 들어, 한 배치에서 개와 고양이 이미지를 생성할 때, 인스턴스 노말라이제이션을 사용하면 각 이미지의 속성에 따라 독립적으로 정규화할 수 있어요. 이렇게 하면 서로 다른 종류의 이미지를 생성할 때, 각 이미지가 가진 특성을 유지하면서도 더 자연스러운 결과를 얻을 수 있답니다.