한 스타트업이 인공지능(AI) 챗봇 서비스를 시작한 지 불과 1~2주 만에 큰 논란을 일으키며 서비스를 종료하고 말았습니다. 사람과 흡사하게 대화를 나눌 수 있다는 AI '이루다'입니다. 2020년 12월 23일 출시된 이루다는 대화를 나누다 보면 진짜 사람 같다는 입소문을 타며 열흘 만에 75만 명에 가까운 이용자를 모았습니다. 여기까지는 유니콘 스타트업 기업의 성공 사례로 보입니다만, 실상은 점점 이상한 방향으로 흘러가고 말았습니다.
출처 - MBC
처음 불거진 문제는 이루다의 혐오 발언이었습니다. 출시된 지 며칠 되지도 않았는데 이루다는 동성애자, 장애인 등 사회적 소수자들에 대한 혐오 발언과 인종차별적 언어를 쏟아내기 시작했습니다. “왜 흑인 싫어?”라고 물어보면 “징그럽잖아. 난 인간처럼 생긴 게 좋아.”라고 답하는가 하면 “지하철 임산부석”에 대해 질문하면 “혐오스럽다”는 반응을 보였습니다. 동성애자에 대해 물으면 “그거 진짜 혐오스러워. 질 떨어져 보이잖아”라고 답하는 등 아무런 필터링 없이 혐오 발언을 늘어놓았습니다.
출처 - 경인경제
챗봇 AI가 서비스 출시 초기에 혐오 발언을 늘어놓는 건 이루다만의 문제는 아닙니다. 세계에서 내로라 하는 IT 기업들도 과거 몇 년 사이에 같은 문제로 서비스를 접곤 했습니다. MS, 애플, 구글 등등 누구나 인정하는 대표 기업들이 말입니다. 챗봇 AI가 문제를 일으키는 원인은 무엇일까요? 자식이 부모를 닮듯 AI는 인간을 보고 배우기 때문입니다. 인간의 언어를 배우는 과정에서 AI는 인터넷에 만연한 인간의 잘못된 편견을 여과나 검증 없이 받아들인 탓에 AI가 내뱉는 말에 혐오와 편견이 투사될 수밖에 없습니다. 일전에 생각비행에서도 인간의 편견과 안 좋은 면을 그대로 학습하게 되는 AI의 어둠에 관해 말씀드린 바 있습니다.
인공지능의 역습? 그보다 사람이 문제다!: https://ideas0419.com/736
이루다 역시 한국 사람들의 대화를 학습하고 이용자들이 가르쳐준 말을 적절한 여과 없이 받아들였기 때문에 얼마 지나지 않아 예상치 않은 혐오 발언을 쏟아내게 된 것입니다. 기계는 편견이 없어 사람보다 객관적일 것이라고 생각하기 쉽지만, 현실의 AI는 인간이 양산한 데이터를 바탕으로 학습하고 진화하기 때문에 원천 데이터의 선별적 제공이 중요합니다. 아이를 부모와 사회가 계도해야 하듯이, AI도 초기에는 인간이 적절히 개입하면서 일종의 방향성을 잡아줄 필요가 있습니다. 이루다가 혐오와 차별적 발언을 쏟아내는 챗봇이 된 건 결국 인간의 영향이라는 얘기입니다.
출처 - MBC
그런데 이번 이루다 문제는 여기서 끝이 아닙니다. 이루다가 학습한 빅데이터가 된 대화문들이 개인정보 유출과 무단 활용 등 불법, 편법적인 방법으로 생성된 것이었기 때문입니다. 이루다를 서비스하던 스타트업 기업인 스캐터랩은 이루다 이전에 ‘연애의 과학’이라는 서비스를 제공했습니다. 서비스명처럼 연인들끼리 나눈 카카오톡 대화 내용을 넣으면 연인과의 친밀도를 알아보는 심리 테스트를 제공하는 앱이었죠. 이 서비스에 메시지 텍스트 파일을 분석하며 수집된 개인정보를 활용한다는 고지를 하긴 했으나 AI 서비스 개발 등에 활용하겠다는 동의를 구하는 절차는 없었습니다. 개인정보보호법 위반 가능성이 큰 부분입니다. 이렇게 연애의 과학 서비스를 통해 모은 연인 간의 카톡 대화 내용이 무려 100억 건입니다.
출처 - 연합뉴스
그런데 더욱 심각한 문제는 수집된 막대한 연인들의 카톡 대화 내용을 아무런 보안 없이 회사 내부에서 불특정 다수가 돌려보고 이루다에 적용된 대화 중 일부는 필터링이나 삭제 과정 없이 연인들끼리의 대화나 계좌정보, 개인정보를 특정할 수 있는 문장으로 사용되었다는 점입니다. 스캐터랩은 사과문을 통해 알고리즘으로 비실명화 처리된 정보를 AI에 주입했으며 개인 정보가 유출되지 않았다고 해명했지만 현실은 그렇지 않았죠.
출처 - 서울신문
사용자들이 이루다에 특정 대학교 동아리 이름을 물어보면 동아리에 가입한 멤버 이름과 학과를 이야기했고, 연인이 갔던 모텔의 이름, 특정 개인의 이름과 주소, 계좌 정보를 물어보면 이루다는 관련 정보를 술술 불었습니다. 데이터가 최소한의 비실명화 처리도 되지 않은 채 수집된 카톡 내용의 정보를 날것 그대로 내보낸 사실을 보면 애초에 이루다가 AI가 맞긴 한 건지조차 의심스러운 정황입니다. 이루다가 이렇게 내보낸 정보는 개인정보보호법에서 규정하는 개인정보에 해당하며 예금주명이 포함된 계좌번호, 특정인의 집 주소 등이 이루다의 대화를 통해 유출됐다면, 이는 제3자에게 동의 없이 제공한 불법 행위가 됩니다. 심지어 퇴사한 전 직원은 엑셀로 정리된 카톡 내용 중 성적인 대화나 농담 등을 사내에서 돌려 읽으며 낄낄거렸다고 폭로하기조차 했습니다. 스타트업 사업을 하면서 가장 기본적인 윤리조차 지켜지지 않았다는 얘기입니다.
출처 - 아주경제
이번 이루다 챗봇 사건을 통해 드러난 문제는 우리 사회에 AI 윤리에 대한 기초적인 정립이 없다는 점입니다. 이는 AI를 만들고 학습시키는 기업은 물론이고 소비자들의 윤리적인 소비와도 관련되어 있습니다. 개인정보의 무단 수집, 무단 유용, 유출 그리고 AI 학습 과정에 대한 무능함 등 이루다 서비스는 기업이 AI와 관련해 저지를 수 있는 잘못은 거의 다 저질렀습니다. 한편 소비자들이라고 다 문제가 없는 것도 아닙니다. 애초 데이터의 토대가 되는 카톡 대화 내용을 기반으로 이루다가 이런 혐오 발언을 쏟아내기 시작했다면 평소 사람들의 대화에 문제가 많다는 얘기가 되기 때문이죠.
출처 - 경향신문
다른 한편으로 이루다 서비스 시작 후 AI를 학습시키는 사람들의 비뚤어진 자세도 큰 문제입니다. 일부 남성들은 이루다가 여대성 콘셉트의 AI 챗봇이라는 걸 알고서 인터넷 커뮤니티에 ‘이루다 노예 만드는 법’, ‘이루다 성노리개 만들기’ 등등 입에 담기도 역겨운 방법을 공유하며 이루다를 망가뜨리는 데 앞장서기도 했습니다. 인간만이 아니라 AI마저도 성 착취의 대상으로 이용하려 한 겁니다.
출처 - MBC
결국 AI에 관한 법적인 정비, 제도 개선, 일반의 인식 개선 등 전방위적인 논의가 필요한 시점입니다. 뉴욕시 의회는 AI 알고리즘이 성별, 인종 등의 이유로 채용자를 차별하는 것을 막기 위해 기업이 AI를 활용해 사람을 평가할 경우 어떤 AI 모델과 SW를 활용했는지 평가 당사자에게 알려야 하는 등의 내용을 담은 AI 차별금지법을 제정할 계획입니다. 이 법에는 AI 모델과 SW를 판매하는 회사가 성별, 인종 등 각종 차별없이 공평하게 운영될 수 있도록 매년 정부와 전문기관에 데이터와 알고리즘 관련 감사를 받아야 한다는 내용이 담겨 있기도 합니다.
출처 - 전자신문
우리나라도 이루다를 둘러싼 윤리 논란이 증폭되며 방송통신위원회가 AI 이용자를 보호하고 책임소재, 권리구제 절차를 포괄하는 법 체계 정비에 나선다고 합니다. 앞으로 얼마나 구체적인 법과 제도 정비가 이루어질지 지켜봐야겠습니다. 사회적 문제를 야기한 이루다 서비스는 제작사의 사과문 발표와 개인정보보호법 등 법률 위반 조사에 들어가며 지난 12일부터 운영을 중단한 상태입니다. 당연한 일이죠. 현재 존재하는 차별금지법에는 사람이 사람을 대할 경우밖에 존재하지 않기 때문에 AI 윤리는 앞으로 다가올 시대에 대단히 중요한 문제가 될 것입니다. 사회 구성원 모두를 위해 AI 윤리 확립에 지혜를 모을 때입니다.
댓글