[Agentic AI 제5편: 규제와 법적 쟁점] AI가 저지른 실수, 기업은 어디까지 책임질까?ㅣ실제 판결로 보는 AI 법적 책임ㅣAI 법률·규제 완전정리

AI는 도구인가 대리인인가, 판례가 말하는 책임 주체

2024년 초 캐나다에서 나온 에어캐나다 판결은 AI 법적 책임 논의의 대표적인 사례입니다. AI 챗봇이 고객에게 잘못된 환불 정책을 안내했고, 항공사는 “챗봇 실수는 우리 책임이 아니다”라고 주장했지만 법원은 항공사 배상 책임을 인정했습니다. 이 판결은 AI를 단순 도구로만 보지 않고, 기업이 AI를 운영하며 발생한 결과에 대해 책임을 져야 한다는 점을 명확히 했습니다.

현재 AI를 둘러싼 법적 관점은 크게 두 가지로 나뉩니다. 도구론은 AI를 칼과 같은 물건으로 보고, AI가 사고를 일으켜도 최종 사용자가 책임진다고 봅니다. 반면 대리인론은 AI가 자율적으로 판단을 내리는 존재라 사용자와 제작사가 책임을 나눠야 한다고 주장합니다. 아직 세계적으로 통일된 기준은 없지만, 법원은 점점 후자 쪽으로 기울고 있는 추세입니다.

2018년 우버 자율주행차 사망 사고도 비슷한 결론을 냈습니다. AI가 운전 중이었지만 법원은 차량에 타고 있던 안전요원에게 책임을 물었습니다. AI가 판단을 해도 최종 감시 책임은 사람에게 있다는 기조가 현재 법원의 입장입니다.

쇼핑이나 금융 거래처럼 AI가 직접 계약을 체결하는 경우는 더 복잡합니다. 사용자, AI 제작사, 플랫폼이 서로 “내 잘못이 아니다”라고 발뺌할 가능성이 높습니다. 특히 입증 책임이 전환될 위험이 큽니다. 과거에는 피해자가 기업 과실을 증명해야 했지만, AI 시대에는 기업이 “우리 AI에는 오류가 없었다”는 사실을 입증하지 못하면 배상해야 할 가능성이 커지고 있습니다.

실제 금융 현장에서는 세 가지 시나리오가 자주 발생합니다. 고객이 “AI가 내 카드로 결제했다”며 부인하는 경우, AI가 해킹당해 대출이 실행된 경우, AI가 대출을 거절하면서 설명을 제대로 못 하는 경우입니다. 후자의 경우 금소법 위반 소지가 생길 수 있습니다. AI 법적 책임 문제를 해결하려면 이런 구체적인 상황별 대응 매뉴얼을 미리 만들어 두는 것이 중요합니다.

EU AI Act와 한국 규제, 2027년 금융권이 맞을 현실

2024년 8월 세계 최초의 포괄적 AI 규제법인 EU AI Act가 공식 발효됐습니다. 금융을 포함한 고위험 AI에 대한 규제는 2027년 12월부터 본격 적용됩니다. 기존 2026년 8월에서 16개월 연기됐지만, 금융사 입장에서는 준비 시간이 2년밖에 남지 않은 셈입니다.

EU AI Act의 핵심 요구사항은 투명성, 인간 감독, 데이터 품질입니다. 이 요건을 충족하지 못하면 유럽 시장에서 AI 서비스를 아예 팔 수 없게 됩니다. 이미 글로벌 은행들은 EU AI Act 대응 전담 팀을 구성하고 시스템 개편에 나서고 있습니다.

한국은 EU처럼 강제력이 있는 법은 아직 없지만, 금융당국이 발표한 금융분야 AI 가이드라인과 개인정보보호법 개정이 사실상 판결 기준이 되고 있습니다. 특히 개인정보보호법 개정으로 AI가 자동으로 내린 결정에 대해 소비자가 거부하고 설명을 요구할 수 있는 권리가 생겼습니다. 이 조항이 사고 발생 시 법원이 판단하는 주요 기준이 될 가능성이 높습니다.

또 하나의 쟁점은 마이데이터입니다. AI 에이전트가 수천 개의 금융 사이트를 돌아다니며 데이터를 수집하려면 매번 3자 제공 동의를 받아야 하는데, 현실적으로 불가능합니다. 이 법적 병목을 어떻게 풀지가 규제 당국의 과제로 남아 있습니다.

금융사 입장에서는 EU AI Act와 한국 규제를 동시에 만족할 수 있는 시스템을 구축하는 것이 가장 현실적인 전략입니다. EU 기준을 맞춰두면 한국 규제에도 자연스럽게 대응할 수 있기 때문입니다.

금융사가 지금 당장 해야 할 5가지 실전 대비

첫째, AI 거버넌스 위원회를 만들어야 합니다. IT 부서 혼자서는 안 되고 상품, 리스크, 법무, 보안 담당자가 모두 참여하는 컨트롤 타워가 필요합니다. AI 도입부터 폐기까지 전 과정을 통제할 수 있는 조직이 없으면 사고가 났을 때 누가 책임질지조차 명확하지 않습니다.

둘째, 약관과 계약서를 전면 개정해야 합니다. 고객과의 계약에 “본 서비스는 AI 기술이 적용되었으며 결과의 완벽성을 보장하지 않는다”는 문구를 넣고, AI 솔루션 제공사와의 계약에서는 오작동 시 배상 책임 소재를 명확히 해야 합니다. 이 작업을 미루면 나중에 소송에서 불리한 증거로 작용할 수 있습니다.

셋째, 설명 가능한 AI 시스템을 구축해야 합니다. AI가 왜 대출을 거절했는지, 왜 특정 상품을 추천했는지 이유를 기록하고 고객에게 설명할 수 있어야 합니다. 설명하지 못하는 AI는 금융권에서 더 이상 쓸 수 없는 시대가 오고 있습니다.

넷째, AI 배상 책임 보험 가입이나 별도 리스크 충당금을 쌓아야 합니다. 아무리 대비해도 사고는 발생합니다. 경영진을 보호할 최후의 안전장치로 돈으로 대비하는 것이 현실적입니다.

다섯째, 임직원 AI 리터러시 교육을 강화해야 합니다. “AI가 있으니 괜찮겠지”라는 맹신이 가장 큰 리스크입니다. 중요한 순간에는 반드시 사람이 개입하도록 교육하고, AI의 한계를 명확히 인지하게 해야 합니다.

이 다섯 가지를 법이 강제하기 전에 먼저 실행한 금융사가 시장에서 신뢰를 얻을 것입니다. 영상을 다 보셨다면 지금 바로 법무팀에 “우리 약관에 AI 면책 조항이 있는지” 확인해 보시기 바랍니다.