
[지디넷코리아]생성형 인공지능(AI)이 일상 깊숙이 파고들면서 디지털 세상의 신뢰가 새로운 시험대에 올랐다. AI가 만든 가짜 이미지와 영상이 진짜처럼 유통되고, 허위정보와 사칭 범죄가 확산하면서 온라인에서 무엇을 믿어야 할지 판단하기 어려워지고 있다. 기술의 발전 속도에 비해 이용자 보호와 사회적 대응 체계는 여전히 부족하다는 지적도 나온다. 지디넷코리아는 '안전한 AI의 길을 묻다' 기획을 통해 AI가 가져온 디지털 환경 변화와 그 이면의 문제를 짚어본다. 피해 실태와 제도적 한계, 플랫폼의 책임, 시민의 디지털 리터러시 등을 살펴보고 건강하고 신뢰할 수 있는 디지털 생태계를 만들기 위한 해법을 모색한다. [편집자주]최근 사회관계망서비스(SNS)에서는 이재용 삼성전자 회장과 최태원 SK그룹 회장이 걸그룹 A2O 라이트의 노래 'NEON'에 맞춰 춤을 추는 영상이 공개돼 화제를 모았다. 두 회장이 나란히 춤을 추는 모습은 실제 촬영된 장면이 아니다. 인공지능(AI)으로 얼굴을 감쪽 같이 합성한 영상이다. 유명인의 사진을 활용해 춤 영상을 만드는 것이 새로운 온라인 밈으로 자리 잡으면서 AI 합성 콘텐츠가 일상적인 놀이 문화로 확산하고 있다.이처럼 손쉽게 영상을 만들 수 있는 기술이 악의적으로 활용되면 심각한 피해로 이어질 수 있다. 지난 9월 SM엔터테인먼트는 소속 가수 겸 배우 윤아의 얼굴을 무단 합성한 AI 이미지와 허위사실이 온라인에서 유포되자 형사고소에 나섰다. SM은 팬들의 제보와 자체 모니터링을 통해 관련 증거를 수집했으며, 불법 콘텐츠 유포에 대해 선처 없이 강경 대응하겠다는 입장을 밝혔다.유명인 뿐 아니라 일반인도 딥페이크 피해 대상이 되고 있다. 이런 가운데 AI 합성 기술이 정교해지고 콘텐츠 유포 속도도 빨라지면서 플랫폼의 대응 역량이 시험대에 올랐다. 주요 플랫폼들은 자체 운영정책과 관련 법률에 따라 유해 콘텐츠를 삭제하거나 이용을 제한하고 있다. 하지만 빛의 속도로 퍼지는 딥피이크를 막기엔 역부족이라는 지적이 나온다.플랫폼마다 AI 생성 콘텐츠의 표시 기준과 신고·삭제 절차가 달라 대응의 실효성에 대한 우려도 제기된다. 전문가들은 기술 자체를 규제하기보다 불법 콘텐츠에 신속하게 대응할 수 있는 체계를 강화하고, 플랫폼과 국가기관, 민간단체 간 협력을 확대해야 한다고 강조한다.AI 딥페이크 콘텐츠는 주로 커뮤니티, SNS 등으로 퍼진다. 플랫폼 회사들은 AI가 만든 규정 위반 콘텐츠를 별도로 모니터링 하는 것은 아니다. 각 회사의 규정에 따라 선정적이거나 폭력적인 콘텐츠를 제한하는 방식이다. 네이버는 노골적인 성행위를 묘사하는 등 타인에게 성적 수치심을 유발시키거나 왜곡된 성 의식을 야기할 수 있는 내용의 게시물, 타인에게 잔혹감 또는 혐오감을 일으킬 수 있는 폭력적이고 자극적인 내용의 게시물을 제한하고 있다.이런 콘텐츠가 포함된 게시물은 삭제될 수 있으며, 수준에 따라 서비스 이용도 제한한다. AI를 활용한 딥페이크 사진·영상 역시 해당 약관에 따라 조치가 이뤄진다.카카오는 카카오톡 세 번째에 위치한 ‘지금 탭’에서 노출되는 숏폼이 AI를 활용해 만들어졌을 경우 표시 기능을 통해 이용자 오인 방지에 힘쓰고 있다. 표식 누락 등이 확인되면 안내·수정 요청 등 필요한 조치를 거치는 방식으로 이용자를 보호하고 있다.또 전체 연령이 이용할 수 있는 콘텐츠만 지금 탭에서 발견될 수 있도록 운영 중이다. AI 기술과 운영 인력의 상시 모니터링을 통해 유해 콘텐츠가 노출되지 않도록 관리 중이다.메타는 페이스북과 인스타그램, 스레드 등에서 성기나 항문이 노출된 사실적·디지털 이미지와 자살·자해 또는 섭식 장애를 조장하는 콘텐츠 게시를 허용하지 않고 있다. 이는 AI 생성 콘텐츠를 포함한 모든 콘텐츠에 적용된다.유튜브는 과도한 노출을 포함하거나 성적인 콘텐츠, 음란물을 게시하면 콘텐츠를 삭제하거나 채널을 폐쇄하고 있다. 성적 만족을 위한 성기, 가슴, 엉덩이 묘사와 페티시즘 콘텐츠가 여기에 해당된다.AI를 활용해 이런 콘텐츠를 생성됐다면 그런 사실을 공개하도록 명시하고 있다.폭력적인 행동을 하도록 다른 사람을 선동하거나 고문, 시체 등 시청자에게 충격 또는 혐오감을 주려는 영상과 이미지에 대해서도 똑같은 규제가 적용된다.처음 커뮤니티 가이드라인을 위반했을 때는 제한 조치 없이 주의만 주어지지만, 90일 내에 동일한 정책을 위반하면 경고를 한다. 90일 내에 경고를 3번 받으면 채널이 폐쇄될 수 있다.틱톡은 폭력 및 범죄 행위, 혐오 발언·혐오 행위, 자살·자해, 신체 노출·성적 행위 등을 담은 콘텐츠를 발견하면 삭제하고 있다. 위반 사항이 확인되면 신체 노출 정도, 성적 표현이나 폭력 묘사 수위에 따라 추천 피드에서 제외되거나 연령 제한이 적용된다.AI 생성 콘텐츠 역시 인물과 장면을 사실적으로 묘사할 경우 AI 라벨 부착을 의무화했으며, 오해를 불러일으키거나 해를 끼치는 창작물은 허용되지 않는다.이용자가 반복적으로 규정을 위반하거나 규정 위반을 목적으로 하는 계정 운영이 확인되면 계정 또는 이용자를 영구 정지한다.네이버는 이 같은 게시물을 이용자가 발견했을 때 직접 신고할 수 있도록 네이버게시물 신고센터를 운영하고 있다. 신고센터에서는 유해게시물, 권리 침해 불법촬영물, 선거 관련 허위정보, 사칭 피해 등 게시물 유형에 따라 신고할 수 있게 했다.세부항목에 들어가면 이용자의 아이디와 성명, 생년월일과 함께 신고 대상 서비스, 게시물 URL, 신고 내용 등을 기입하도록 하고 있다.카카오는 숏폼 게시물 우측 하단 더보기 버튼 내에서 게시물을 신고할 수 있다. 신고하기를 누르면 콘텐츠 유형에 따라 스팸·유사투자자문, 음란·성적 행위, 욕설·폭력·혐오 등으로 구분된다. 항목에 맞는 유형을 선택하고 신고·삭제요청서를 작성하거나 일부 항목은 증명서류를 제출해야 한다.인스타그램, 페이스북, 스레드 등은 게시글 옆에 있는 점 세 개를 누르면 콘텐츠 유형별로 신고할 수 있다. 유튜브도 메타와 동일한 방식을 이용해 콘텐츠를 제한할 수 있도록 하고 있다.틱톡도 고객 지원센터를 통해 게시물과 계정 신고 방법을 안내하고 있다. 게시물에서 공유 버튼을 누르거나 게시물을 길게 누르고 신고와 이유를 선택한 후 제출하면 된다. 계정 역시 신고하고자 하는 이용자의 프로필로 이동해 동일한 절차를 거치면 된다.국내외 플랫폼 모두 딥페이크만 별도로 신고하는 항목을 마련해두고 있지는 않다. AI를 활용해 제작된 폭력적, 성적 딥페이크도 이미 플랫폼에서 규제하는 음란물이나 폭력적인 게시물에 해당되기 때문이다.그러나 이러한 신고 절차에도 AI를 활용한 딥페이크를 근절하기는 쉽지 않다. AI 기술 발달로 딥페이크 제작 문턱이 낮아진 데다 제작 속도도 이전보다 빨라지면서다. 불특정 다수에게 콘텐츠를 빠르게 배포하는 SNS 특성도 딥페이크 확산에 한몫했다.네이버는 이같은 콘텐츠를 성폭력범죄의 처벌 등에 관한 특례법과 아동·청소년의 성보호에 관한 법률, 정보통신망법 등에 의거해 제지하고 있다. AI 딥페이크를 통해 만들어지는 음란물과 잔인한 생성물이 플랫폼이 제재하는 불법·음란 콘텐츠에도 해당되기 때문이다.반면 카카오는 올해 1월 시행된 AI기본법에 따라 AI 활용 표기 여부를 중점적으로 살펴본다. AI기본법은 생성형 AI 제품·서비스를 제공하는 사업자가 결과물에 AI로 만들었다는 사실을 표기하도록 한 것이 골자다.페이스북과 인스타그램 등은 국내법이 아닌 자체 조성한 커뮤니티 규정에 맞춰 모든 게시물을 감독·관리한다. 국내법 추가 적용이 필요한 일부 사항에 대해서만 별도로 정책을 추가해 해당 국가에서 시행한다. 한국의 경우 소위 허위조작정보 근절법으로 불리는 개정 정보통신망법이 대표적이다.틱톡은 각국의 법률과 규제 준수를 기본 원칙으로 삼고 있다. 이에 따라 적용될 수 있는 관계 법령을 포괄적으로 검토하고 있다. 국내외 플랫폼들은 딥페이크 콘텐츠에 대해 기존 법률과 자체 운영정책을 적용하고 있다. 그러나 딥페이크의 제작 목적과 유포 방식, 피해 유형이 다양해지면서 기존 규정만으로 대응하기 어려운 사례도 발생한다. 특히 불법 여부가 명확하지 않은 AI 생성 콘텐츠에 대해서는 플랫폼마다 판단 기준과 대응 방식에 차이가 나타날 수 있다.이에 AI전략위원회는 이달 초 전체회의를 열고 AI 입법 프레임워크의 법률 영역을 진흥과 규제로 구분했다.이때 4대 기본방향에 따라 AI 분야별 입법 원칙을 정리했는데, 이 중 딥페이크를 제한할 것으로 보이는 AI 오남용 방지도 포함됐다. 다만, 프레임워크는 정책 방향을 제시하는 합의문으로, 법적 효력을 가지려면 개별법이 국회에서 제정돼야 한다.플랫폼업계 관계자는 “딥페이크에 대한 정확한 규정이나 법적 조치가 아직은 미비한 상황”이라고 말했다.전문가들은 양면성을 가진 AI 특성상 기술 자체를 규제하기보다 활용 목적과 피해 유형에 따라 대응할 필요가 있다고 봤다. 이 과정에서 플랫폼도 일정 부분 책임을 져야 한다는 의견이다.그러나 플랫폼이 AI 생성물의 제작 의도나 불법 여부를 판단하기 어려운 경우도 있어 시민단체와 국가기관의 협력이 필요하다는 제언도 나왔다.실제로 하이브는 경찰과 협력해 소속 아티스트를 대상으로 한 딥페이크 범죄에 대응한 바 있다. 지난해 4월 경기북부경찰청은 하이브 소속 아티스트의 얼굴을 합성한 허위영상물을 제작하거나 유포한 피의자 8명을 검거하고, 이 중 텔레그램 대화방 등을 운영한 6명을 구속했다고 밝혔다.김명주 서울여대 지능정보보호학부 교수는 “AI기본법이 원래 진흥이 목적인 법이기에 최소한의 규제로 투명성 원칙을 요구한 것”이라며 “AI가 활용 방법에 따라 다양한 양상으로 나타나기 때문에 저촉되는 영역의 법안에 따라 적용되는 것이 맞다. 기본 기술을 제어할 수 있는 성격은 아니다”라고 말했다.이어 “법으로 정하지 않더라도 툴을 이용해 만든 AI 생성물에 플랫폼도 어느 정도 책임이 있다”며 “워터마크를 통해 누가 퍼뜨렸는지 추적하는 방식이 현실적인 방안”이라고 덧붙였다.최병호 고려대 AI연구소 교수는 “AI 딥페이크의 폐해는 기술 발전에 따른 명과 암”이라며 “전문가가 아니어도 누구나 접근할 수 있는데다 기술도 저렴해지고 있어 사실상 제약 조건이 점차 사라진다고 봐야 한다”고 언급했다.그러면서 “플랫폼들 입장에서는 AI 생성물이 어떤 의도로 만들어졌는지 판가름하기 어려울 수 있다”며 “항상 범죄가 앞서가기 때문에 사후 조치에 얼마나 빠르게 접근할 수 있느냐가 관건이다. 이를 영리단체가 하기는 쉽지 않아 시민단체나 국가기관 등에서 관련 사안에 대해 수사하고 모니터링하는 것이 필요하다”고 짚었다.※ 본 보도는 한국언론진흥재단의 지원을 받아 제작되었습니다.
Continue to ZDNet Korea →You are being forwarded in 6s — stay on this page