일문일답 | “AI의 위협은 미래에 있지 않다” 한 AI 윤리 책임자의 메시지

폴 동하는 냇웨스트그룹에서 ‘책임감 있는 AI’와 AI 전략을 총괄하며, AI가 안전하고 윤리적이며 규제 기준에 부합하는 방식으로 운영되도록 하는 프레임워크를 개발하고 있다.

그는 앞서 로이드뱅킹그룹(Lloyds Banking Group)에서 데이터 및 AI 윤리 총괄을 역임해 기업 AI 시스템에 투명성, 책임성, 신뢰를 내재화하는 데 핵심적인 역할을 수행한 바 있다.

여러 금융 기관에서 신기술을 도입하고 활용하는 방식을 설계해 온 경험을 바탕으로, 동하는 AI가 기업과 사회에 가져올 기회와 위험에 대해 명확한 시각을 제시했다.

그는 챔피언스 스피커스 에이전시(Champions Speakers Agency)와의 인터뷰에서, CISO와 이사회가 주목해야 할 윤리적 경고 신호, 규제 기관의 역할, 그리고 오늘날 시급하게 대응해야 할 현실적인 AI 위험 요소에 대해 논의했다.

Q. AI를 도입할 때 CISO와 이사회가 특히 주의해야 할 윤리적 위험 신호는 무엇인가?

폴 동하: 최근 AI 시스템과 관련해 드러난 핵심 문제와 위험 요소로는 ‘사람의 주체성’이 있다.

AI 시스템은 매우 정교한 결과물을 생성할 수 있으며, 일부는 사람이 스스로 올바른 결정을 내리는 능력을 약화시킬 수 있다. 사람의 주체성 상실은 매우 심각한 위험이기 때문에 이를 명확히 인식하고 관리해야 한다.

또 다른 위험은 ‘견고성’이다. AI 시스템은 동일한 질문에 서로 다른 답변을 내놓는 경우가 있다. 따라서 기술적 견고함, 즉 동일한 질문에 대해 시간이 지나도 일관된 결과를 도출하도록 보장하는 것이 매우 중요하다. 반드시 점검해야 할 부분이다.

데이터 프라이버시 또한 중요하다. AI 시스템이 의도치 않게 개인이나 조직의 기밀 정보를 노출할 가능성이 있기 때문에, 정보 유출 위험에 대해서도 철저히 대비해야 한다.

AI에 투명성은 필수적인 요소라고 생각한다. 머신러닝이나 AI 시스템은 비선형적으로 작동하기 때문에 결과가 어떻게 도출되는지 이해하기 어렵다. AI가 특정 답변을 도출하는 과정 내부를 분석할 수 있는 기술이 있지만, 이는 어디까지나 근사치일 뿐이다. 따라서 머신러닝이든 생성형 AI든, 알고리즘의 투명성을 확보하는 문제는 반드시 세심히 다뤄야 한다.

아울러 편향 문제도 빼놓을 수 없다. 여러 AI 시스템에 편향이 스며들면서 다양성과 포용성을 저해하는 사례가 반복되고 있다. 편향은 학습 데이터에 내재돼 있을 수도 있고, 시스템 개발 과정에서 발생할 수도 있다. 생성형 AI의 경우 방대한 학습 데이터를 사용하기 때문에 이 문제가 더욱 두드러진다. 편향 제거는 지금도 계속 연구되는 중요한 과제다.

마지막으로 강조할 요소는 ‘책임’이다. 특히 상업 조직은 AI 시스템의 결과로 인해 문제가 발생했을 때, 사람들이 이에 대해 이의를 제기하고 구제를 받을 수 있는 절차를 갖추고 있음을 명확히 보여줘야 한다. 기업은 AI 시스템을 어떻게 설계하고 운영하는지에 대해 전적으로 책임을 져야 한다.

Q: 모든 대기업이 AI 윤리 위원회를 구성해야 한다고 보는가? 그 위원회의 역할 범위는 어떻게 설정돼야 하는가?

폴 동하: 대기업의 경영진과 의사결정권자 관점에서 고려해야 할 몇 가지 중요한 요소가 있다.

먼저, 윤리 위원회는 선택이 아니라 필수다. 위원회는 조직 내 다양한 배경을 가진 고위 임원들로 구성돼야 하며, 구성원들은 고객이 누구인지, 고객이 무엇을 원하는지를 충분히 이해하고 있어야 한다.

윤리 위원회 구성원은 반드시 윤리 교육을 이수하고, AI가 내포한 잠재적 위험과 한계를 명확히 이해하고 어떤 AI 애플리케이션을 고객에게 공개할지에 대해 책임감 있는 결정을 내려야 한다.

중요한 점은 윤리 위원회가 단순히 IT 시스템에만 의존해 윤리적 판단을 내려서는 안 된다는 것이다. 윤리 문제는 본질적으로 다양한 이해관계자 간의 논의를 통해 해결해야 한다. 윤리 위원회는 이러한 논의를 주도하고, 경계 사례에 대해 토론하는 역할을 한다. 예를 들어 어떤 애플리케이션을 출시할 때, 고객에게 해를 끼칠 가능성이 있는지 혹은 예기치 않은 혼란이나 불쾌감을 유발할 수 있는지를 두고 의견이 엇갈리면 위원회가 논의를 심도 있게 다뤄야 한다.

또한 모든 은행, 심지어 모든 대규모 조직의 위원회에 ‘책임감 있는 AI 담당 임원’을 임명해야 한다고 본다. 이 임원은 AI 애플리케이션 개발 단계부터 배포 이후까지 전 과정에서 발생할 수 있는 리스크를 총괄 관리하는 역할을 맡는다. 윤리적 고려는 개발과 출시의 모든 단계에서 반영돼야 한다.

리스크 관리 절차와 내부 감사 기능 역시 해당 임원의 권한 아래 통합돼야 한다. 그래야 조직 전체 차원의 견고한 감시 체계를 확보할 수 있다.

Q: 정부와 규제 기관이 AI 리스크를 제대로 통제할 만큼 충분히 빠르게 움직이고 있다고 보는가?

폴 동하: 이 문제에서는 정부와 민주적으로 선출된 기관, 그리고 각 산업의 규제 기관이 모두 중요한 역할을 맡고 있다고 본다.

우리는 사회 구성원으로서 정부를 선출해 안전과 권익을 맡긴다. 입법 절차는 이를 위해 존재한다. 예를 들어 운전처럼 단순한 행위에도 차량을 안전하게 운행하기 위한 규칙이 있다. 만약 규칙이 없다면 운전은 매우 위험한 일이 될 것이다. AI도 마찬가지다. AI가 어떻게 사용되고 배포되는지를 규제하는 법과 규칙은 필수적이다.

기업은 주주에게 책임을 지기 때문에 수익성이 언제나 최우선 과제일 수밖에 없다. 따라서 기업 스스로가 AI의 안전장치를 설계하고 운영하도록 내버려두는 방식은 현명하지 않다. 정부가 개입해 무엇이 합리적인지, 어떤 수준의 위험이 허용 가능한지, 그리고 공익에 부합하는 기준이 무엇인지 명확히 설정해야 한다.

물론 기술 기업들도 이러한 논의에 참여해야 하지만, 논의를 주도해서는 안 된다. 사회의 이익을 대표하는 공적 기관, 즉 우리가 선출한 제도권 기관이 논의의 중심이 돼야 한다.

Q: 인공 일반 지능(AGI)은 실제로 얼마나 위협적인가? 오늘날 우리가 주목해야 할 리스크는 무엇인가?

폴 동하: 인간 수준의 지능에 근접하는 AGI는 수십 년 동안 AI 연구자들이 추구해 온 궁극적인 목표였지만, 아직은 그 단계에 이르지 못했다. 현재의 AI는 사회적 상호작용, 감성 지능, 시각 인식의 일부 요소 등 사람 지능의 많은 측면을 구현하지 못하고 있다.

최근 트랜스포머 기반 기술이 매우 정교해 보이긴 하지만, 실제로 내부 구조를 들여다보면 인간이 사고하고 행동하는 방식과는 전혀 다르게 작동한다. 인류가 AGI에 근접했다고 보지 않으며, 현재의 기술 접근 방식으로는 그 목표에 도달하기 어렵다고 본다.

따라서 당장 ‘초지능’이 등장하거나 영화 ‘터미네이터’ 같은 상황이 벌어질 것을 걱정할 필요는 없다고 생각한다. 다만 언젠가 그런 가능성이 현실이 될 수도 있다는 점은 인식해야 한다. 그렇기 때문에 지금부터 대비가 필요하다.

한편 현재 우리가 사용하는 AI 세대에도 이미 심각한 위험이 존재한다. 대표적으로 AI의 무기화, 허위정보 유포, 적대적 국가가 생성형 AI를 이용해 여론을 조작하거나 선거에 영향을 미치는 행위가 있다. AGI가 등장하지 않더라도 지금의 AI 시스템은 막대한 힘을 가지고 있으며, 그 힘이 잘못된 손에 들어가면 사회에 심각한 피해를 초래할 수 있다.
dl-ciokorea@foundryco.com