[꼼꼼한 논문 리뷰] Obfuscated Gradients Give a False Sense of Security [ICML 2018] (인공지능 보안)

Obfuscated Gradients 현상, 왜 대부분의 디펜스가 실패했나

2015년 FGSM 이후 adversarial example 공격이 급격히 강력해지면서, 2017~2018년 사이에 수많은 디펜스 논문이 쏟아졌는데요. 그런데 이 논문은 당시 제안된 디펜스 대부분이 'gradient masking'에 의존하고 있었다고 지적합니다.

Obfuscated Gradients는 크게 세 가지 유형으로 나뉩니다. Shattered Gradients는 미분 불가능한 연산을 넣어 gradient 자체를 없애는 경우, Stochastic Gradients는 랜덤성을 섞어 확률적 gradient를 만들어내는 경우, 그리고 Vanishing/Exploding Gradients는 연산이 너무 깊어 gradient가 사라지거나 폭발하는 경우죠.

최근 실험 결과를 보면, 이런 기법들은 white-box 공격에서는 90% 이상 방어율을 보였지만 black-box 공격에서는 30~40%까지 급락하는 패턴이 반복됐습니다. 즉 모델이 실제로 robust해진 게 아니라, 공격자가 gradient를 제대로 계산하지 못하게 막은 것뿐이었거든요.

이 현상을 처음 체계적으로 분류한 점이 이 논문의 첫 번째 기여입니다. 이전 연구에서는 gradient masking이 '진짜 방어가 아니다'라고만 언급했는데, 이 논문은 이를 3가지 타입으로 세분화하고 각각에 맞는 우회 전략까지 제시했죠.

덕분에 이후 디펜스 논문들은 '단순히 gradient를 숨기는 것'이 아니라 '실제로 decision boundary를 강화하는 것'에 집중하게 됐습니다. 업계에서 주목하는 이유는 바로 이 분류 체계가 지금도 adversarial robustness 평가의 기본 프레임워크로 쓰이고 있기 때문이에요.

BPDA·EOT·리파라미터라이제이션, 실제 공격은 어떻게 이뤄지나

Obfuscated Gradients를 우회하기 위해 이 논문이 제안한 핵심 공격 기법이 BPDA입니다. 미분 불가능한 레이어가 중간에 껴 있을 때, 원래 함수와 비슷한 기능을 하는 미분 가능한 근사 함수를 만들어 대신 미분을 수행하는 방식이죠.

예를 들어 입력값을 이진화하는 Shattered Gradients 디펜스가 있다고 가정하면, BPDA는 이진화 연산을 ReLU-like 함수로 대체해 gradient를 근사합니다. 실제 실험에서는 100번 이상 반복 최적화를 돌렸을 때 원래 공격 성공률이 95% 이상 회복되는 결과가 나왔습니다.

Stochastic Gradients 유형에는 EOT(Expectation Over Transformation)가 효과적입니다. 랜덤 회전·스케일링이 들어갈 때마다 이미지를 여러 번 샘플링해 gradient의 기대값을 계산하는 거예요. 논문 실험에서는 10~20회 샘플링만으로도 랜덤성을 대부분 상쇄할 수 있었습니다.

Vanishing/Exploding Gradients에는 리파라미터라이제이션이 쓰입니다. 모델 전체를 한 번에 미분하는 대신, generator가 만든 manifold 위에서 최적화를 수행해 gradient 소실 문제를 피하는 방식이죠.

이 세 기법 모두 white-box 설정에서 단일 모델에 대해 90% 이상의 공격 성공률을 기록했습니다. 특히 BPDA는 미분 불가능 연산이 있어도 0.03 이하의 perturbation으로 성공하는 경우가 많았는데요.

실무 팁으로는, 새로운 디펜스를 평가할 때 반드시 이 세 가지 공격을 모두 적용해보는 것이 중요합니다. 단일 공격만으로 '안전하다'고 결론 내리면 False Sense of Security에 빠질 위험이 커지거든요.

ICML 2018 논문 9개 케이스 스터디와 실전 시사점

논문은 ICML 2018에 발표된 white-box 디펜스 9편을 직접 분석했습니다. 그중 7편이 Obfuscated Gradients에 해당했고, 6편은 BPDA·EOT 조합으로 100% 공격 성공률을 기록했죠.

예를 들어 Thermometer Encoding은 Shattered Gradients 유형으로 분류됐고, BPDA로 쉽게 우회됐습니다. Input Transformation 계열은 Stochastic Gradients로, EOT로 대부분 무력화됐고요. LID(Local Intrinsic Dimensionality) 역시 Vanishing Gradients 문제로 인해 high-confidence 공격에 취약했습니다.

반면 Adversarial Training(Madry et al.)은 Obfuscated Gradients 현상이 발생하지 않는 유일한 방법으로 남았습니다. 이 기법은 decision boundary 자체를 강화하기 때문에 gradient를 숨길 필요가 없었거든요.

실전에서 적용할 때 가장 중요한 점은, 디펜스를 설계할 때 'gradient를 계산하기 어렵게 만드는' 방향이 아니라 '모델이 진짜 robust한 feature를 학습하게 만드는' 방향으로 가야 한다는 것입니다.

또한 논문은 소스 코드 공개와 adaptive attack 평가를 강조합니다. 2018년 이후 robustness 벤치마크에서는 BPDA·EOT를 기본 공격으로 포함시키는 추세인데요.

인공지능 보안 프로젝트를 진행 중이라면, 지금 당장 기존 디펜스 코드를 BPDA로 테스트해보는 것을 추천합니다. 대부분의 경우 생각보다 쉽게 뚫리는 것을 확인할 수 있을 거예요.