박선미 동의대 미디어커뮤니케이션학과강사

재난과 안전사고 이슈 AI 기술 활용
악용 소지와 법적 책임 문제 뒤따라

상용화 과정에 넘어야 할 산 많아
윤리적 설계 선행 법적 안전망 마련
‘인간이 통제 가능한 기술’ 믿음 중요

지난 2일 화재로 어린이 2명이 숨진 부산 기장군 한 아파트 화재 당시 모습. 부산소방본부 제공

최근 부산에서 연이어 어린이 화재 참변이 발생한 것과 관련해 정부는 긴급회의를 열고 대책 마련에 나섰다. 사고는 모두 스프링클러 설치가 의무화되기 전인 2005년 이전 지어진 아파트에서 발생해 안전 진단과 관련한 이슈가 또다시 화두가 되고 있다.

AI를 연구하는 한 사람으로서, 이처럼 충분히 예방 가능한 재난과 안전사고 이슈들이 더욱 안타깝게 다가온다. 일상생활에서 가장 밀접한 안전 분야에 AI 기술 활용 사례가 늘어나고 있지만, 정작 내 주위에서는 체감되지 않기 때문이다. 아마 필자와 같은 생각을 하는 독자들이 많을 것이다. ‘4차 산업혁명 시대, AI가 인간의 안전을 지켜주는 기술은 왜 빨리 보급되지 않는 걸까’라고.

하지만 우리의 일상에 AI가 밀접하게 스며드는 것이 마냥 쉬운 이슈는 아니다. AI 기술이 인간의 안전을 위해 활용되는 분야가 늘어날수록, 그 결과에 대한 책임 소재와 결정 과정의 메커니즘을 인간의 관점에서 투명하게 설명할 수 있는 근거가 필요하기 때문이다.

2024년 세계 최초 AI에 대한 포괄적 규제인 ‘AI Act’(인공지능법)를 발표한 EU(유럽연합)는 ‘인간 중심적이고 신뢰할 수 있는’ 기술이 중요함을 거듭 강조하고 있다. EU의 인공지능법은 AI 기술을 사람에 대한 위험성을 기준으로 4가지 레벨로 분류한다. 레벨1은 ‘전적으로 금지’, 레벨2는 ‘고위험성’, 레벨3는 ‘제한된 위험성’, 그리고 레벨4는 ‘저위험’이다. 이러한 설계는 AI는 악용될 경우 사람에게 위해를 가할 수 있는 기술이라는 점을 전제로 하고 있음을 의미한다.

EU의 인공지능법에 따르면 화재를 예측하고 일상생활에서 사람의 안전을 진단해 위험을 예방하기 위한 AI 기술은 레벨2 ‘고위험성을 가진 AI 기술’에 해당할 가능성이 높다. 레벨2 AI 기술에 해당하는 예시로는 질병 진단이나 치료 결정, 환자 모니터링과 의료 기기 자동화 시스템, 전력 공급이나 교통관제 등 사회 주요 인프라, 범죄 위험 예측, 공공장소에서의 생체 인식 시스템 등이다. 즉, 인간의 생명과 안전에 직결되는 AI 기술을 고위험군으로 분류한 것이다. 레벨2에 해당하는 AI 기술은 데이터 품질 관리, 투명성 및 설명 가능성 공개, 인간의 개입 가능성 보장, 안전성과 사이버보안 조치, 기본권 영향 평가 등의 엄격한 기준을 부합시켜야만 상용화가 가능하다. 그만큼 일상에서의 도입이 매우 엄격함을 의미한다.

2021년 UNESCO도 ‘인공지능 윤리 권고안’에서 AI 기술은 사람을 물리적·정신적 위해로부터 보호해야 한다고 명시하고 있으나, 공공 안전과 직결되는 분야에 도입될 시 반드시 위험 평가 및 대응 전략을 수립해야 함을 강조한다. 사람의 안전에 영향을 미치는 결정이 AI로부터 내려지는 경우 그 결정의 근거와 메커니즘을 공개, 설명할 수 있도록 하고 인명 또는 재산권 침해 시 책임 소재도 명확히 해야 한다는 것이다.

이처럼 AI 기술은 사람을 위한 기술로 개발되고 활용돼야 함이 강조되고 있으나, 정작 상용화 과정에서는 넘어야 할 산이 너무 많다. 무엇보다 ‘사람을 위한 AI 기술’이 되기 위해서는 ‘신뢰할 수 있는 기술’이라는 타이틀을 우선적으로 확보해야 하기 때문이다. 따라서 화재, 재난 재해 현장에서 시민을 위한 기술로 AI가 활용되기 위해서는 법적 규제의 프레임보다는 신뢰 확보라는 사회적 합의가 선행돼야 할 것이다. 그리고 항상 최종 결정권자가 AI가 아니라 사람이 개입할 수 있는 자율성을 확보할 수 있는 안전장치가 마련돼야 할 것이다.

이재명 정부는 ‘AI 세계 3대 강국 도약’이라는 목표 아래 AI 기술과 관련한 규제 혁신에 본격적으로 나설 전망이다. 하지만 기술 발전을 위한 규제 혁신에 앞서 기술에 대한 신뢰 확보가 우선돼야 함을 간과하면 안 된다. 기술이 시민 삶을 보호하는 방향으로 활용되기 위해서는 윤리적 설계가 선행된 뒤 법적 안전망이 마련돼야 하기 때문이다. 그 과정에서 AI는 언제나 ‘시민이 통제할 수 있는 기술’이라는 인식이 확보돼야 할 것이다. 이러한 과정이 선행된다면 AI 기술력 강화와 산업 발전을 위한 생태계는 자연스럽게 형성될 수 있을 것이라 본다. 그리고 사람의 안전이 위협받는 현장에서 신뢰할 만한 AI 기술이 체감되는 날도 더 빨리 다가올 수 있을 것이다.