CNN, DNN 기초 , Data augmentation

CNN과 DNN 기초: 오버피팅 문제 이해

초보자 여러분, CNN(Convolutional Neural Network)과 DNN(Deep Neural Network) 기초를 배우다 보면 가장 먼저 마주치는 게 오버피팅이에요. 쉽게 말하면, 모델이 학습 데이터에만 너무 잘 맞춰져서 새로운 데이터에는 제대로 대응하지 못하는 거죠. 이전 챕터에서 드롭아웃 같은 테크닉을 배웠을 텐데, 그건 오버피팅을 줄이는 방법 중 하나예요. 하지만 근본적으로는 데이터의 양과 다양성이 핵심이에요.

예를 들어, 회오리 모양의 데이터를 두 클래스(예: 0과 1)로 분류하는 간단한 문제로 생각해 보세요. 왼쪽처럼 100개 데이터로 학습한 CNN 모델은 테스트 셋에서 정확도가 70%밖에 안 나올 수 있어요. 반대로 오른쪽처럼 1,000개 데이터를 쓰면 95%까지 올라가죠. 이 비교를 보면 데이터 양이 모델 성능에 미치는 영향이 크다는 걸 알 수 있어요. 실제로 Kaggle 대회에서 우승한 팀들은 데이터 증강으로 원본 데이터의 10배를 만들어 성능을 20% 이상 끌어올리곤 해요.

왜 오버피팅이 생길까요? DNN은 층이 깊어질수록 패턴을 세밀하게 배우지만, 데이터가 적으면 노이즈나 특이점을 과도하게 외워 버려요. 초보 분들을 위해 설명드리면, 학습 데이터에서 90% 정확도인데 테스트에서 60%라면 제너럴라이제이션 문제가 확실해요. 해결책? 새로운 데이터를 모으는 게 이상적이지만, 비용과 시간이 많이 들어요. 예를 들어, 의료 이미지 데이터셋을 만들려면 전문가 라벨링이 수백만 원 들 수 있죠.

대신 데이터 증강을 쓰면 기존 데이터를 변형해 '가짜지만 유효한' 데이터를 만들어요. 이게 CNN 학습에서 필수인 이유는 이미지처럼 복잡한 입력에서 모델이 다양한 각도나 조명을 견디게 해주기 때문이에요. 실전 팁으로, 처음 프로젝트 할 때 데이터셋 크기를 확인하세요. 1,000개 미만이면 무조건 증강을 고려해 보세요. 그리고 드롭아웃(예: 0.5 비율)과 함께 쓰면 시너지 효과가 커요. 이렇게 하면 DNN 기초 단계에서부터 안정적인 모델을 만들 수 있어요.

더 나아가, 오버피팅을 진단하는 방법도 알아두면 좋아요. 학습 곡선(learning curve)을 그려 보세요. 학습 손실이 줄어들는데 검증 손실이 오르면 오버피팅 신호예요. 수치로 비교하면, 증강 없이 학습하면 epoch 10에서 테스트 정확도 75%, 증강 후 88%로 차이 날 거예요. 초보자분들은 TensorBoard 같은 도구로 이걸 시각화해 보는 걸 추천해요. 설치만 하면 코드 한 줄로 로그를 남길 수 있어요.

이 섹션에서 핵심은 데이터 양이 CNN과 DNN의 성공 열쇠라는 거예요. 오버피팅을 무시하면 모델이 '공부만 잘하는 학생'처럼 돼 버려요. 다음으로 데이터 증강이 어떻게 그 문제를 풀어주는지 자세히 볼게요. 이 이해가 쌓이면 여러분의 프로젝트가 한 단계 업그레이드될 거예요.

데이터 증강(Data Augmentation) 기법 상세

이제 데이터 증강의 구체적인 기법을 알아볼게요. 초보 눈높이로 말하면, 기존 데이터를 살짝 바꿔서 새로운 데이터를 만드는 거예요. CNN에서 이미지 분류할 때 특히 유용하죠. 구글에서 고양이 사진 하나를 검색해 보세요. 그 이미지를 좌우 반전시키면? 여전히 고양이예요. 상하 반전, 10도 회전도 마찬가지죠. 이렇게 하나에서 4~8배 데이터를 불릴 수 있어요.

구체적 예시로, 원본 고양이 이미지(크기 224x224)를 좌우 플립(flip)하면 새로운 샘플이 돼요. 회전(rotation)은 -15도부터 15도 범위로 랜덤 적용하면 자연스러워요. 확대(zoom)는 1.1배로 하면 배경 일부가 잘려서 다양성 생겨요. 비교해 보면, 증강 없이 500개 데이터로 학습한 모델의 테스트 정확도는 80%인데, 이 기법으로 2,000개 만들면 92%까지 올라가요. 실제로 ImageNet 대회에서 이런 트랜스포메이션이 표준이에요.

또 다른 기법은 노이즈 추가예요. 가우시안 노이즈를 0.01 강도로 더하면, 모델이 약간 흐린 이미지에도 강해져요. 컬러 지터(color jitter)는 밝기(brightness 0.2), 대비(contrast 0.2), 채도(saturation 0.2), 색조(hue 0.1)를 랜덤 변경해요. 예를 들어, 고양이 귀를 초록으로 바꿔도 클래스 라벨은 그대로 '고양이'예요. 이게 중요한 이유는 실생활 사진이 조명이나 색감에 따라 다르기 때문이에요. 디포메이션(deformation)은 부분 확대, 왜곡으로 현실성을 더해줘요.

주의할 점은 상관관계(correlation)를 유지하는 거예요. 고양이를 개로 바꾸면 안 되죠. 초보자 팁: OpenCV 라이브러리로 간단히 테스트해 보세요. 코드 예: cv2.flip(img, 1)으로 좌우 반전. 여러 기법을 조합하면 데이터셋이 10배 이상 커질 수 있어요. 수치로, CIFAR-10 데이터셋에서 증강 적용 시 오류율이 10%에서 7%로 줄어요.

대안으로, GAN(Generative Adversarial Network)을 써서 완전 새로운 데이터를 생성할 수도 있지만, 초보에겐 복잡해요. 대신 기본 트랜스포메이션부터 시작하세요. 패딩(padding)은 이미지 테두리에 여백 추가로 크기 맞추기 좋아요. 크로핑(cropping)은 랜덤 부분 자르기로 다양성 줘요. 이 기법들은 DNN 학습에서 모델이 '편향'되지 않게 해줘요.

실전에서, 고양이 vs 개 분류 프로젝트라면 원본 100장씩에 증강 적용해 800장으로 늘려보세요. 결과? 오버피팅 줄고, 일반화 향상돼요. 이렇게 하면 CNN 기초가 탄탄해져요.

파이토치로 데이터 증강 적용하기

파이토치(PyTorch)로 데이터 증강을 구현하는 건 초보도 쉽게 할 수 있어요. torchvision.transforms 모듈이 핵심이에요. 먼저, 학습 데이터에만 적용하세요. 테스트 셋은 원본 그대로 써야 정확한 평가가 돼요. 예를 들어, 우주 비행사 사진을 로드해 보죠.

단계별로 설명할게요. 1) Transform 정의: transforms.Compose([transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(10), transforms.ColorJitter(brightness=0.2)])처럼 써요. p=0.5는 50% 확률로 플립. 2) 데이터셋 로드: datasets.ImageFolder(root='data', transform=train_transform). 3) DataLoader로 배치: torch.utils.data.DataLoader(dataset, batch_size=32, shuffle=True). 이걸로 epoch마다 랜덤 변형이 적용돼요.

실전 팁: 테스트 트랜스포는 transforms.Compose([transforms.Resize(224), transforms.ToTensor()])로 단순히. 코드 실행 시, 한 이미지에서 10개 변형 생성해 데이터셋 길이가 10배 돼요. 주의사항? 과도한 증강은 노이즈로 학습 방해할 수 있어요. 강도를 20% 정도로 시작하세요. 대안으로, Albumentations 라이브러리 쓰면 더 세밀한 제어 가능해요. 설치: pip install albumentations.

수치 비교: 증강 없이 5 epoch 학습 시 정확도 85%, 적용 후 93%. 컴퓨터 비전 CNN에서 필수예요. 초보자분들은 MNIST 데이터셋으로 연습해 보세요. 코드 스니펫: import torchvision.transforms as transforms; train_transform = transforms.Compose([...]). 이걸 모델 학습 루프에 넣으면 돼요.

문제 발생 시? GPU 메모리 부족하면 batch_size 줄이세요. 다음으로 레스넷 같은 아키텍처와 결합하면 더 강력해져요. 이 팁으로 여러분의 DNN 프로젝트를 업그레이드해 보세요.