기업에 ‘AI 윤리 전문가’가 필요할까?

가트너의 부사장이자 애널리스트인 바트 윌렘슨은 기존 직무에 이 역할을 추가하는 것보다 전담 윤리 전문가나 팀을 두는 것이 더 효과적이라고 말한다. 윌렘슨은 “논의되는 주제의 폭과 이전 대화 및 프로젝트에서 얻은 교훈을 가지고 시간이 지날수록 계속 발전하는 일관된 접근 방식을 갖춘 전담 부서가 있으면 정당하고 책임감 있는 AI 기술 사용의 성공률이 높아진다”라고 설명했다.

이런 역할을 추가하는 기업의 의도는 좋지만, AI 윤리 전문가가 기업의 방향과 결정에 의미 있는 영향을 미치지 못하는 임시직이 될 위험이 있다. 그렇다면 윤리적 의사 결정과 책임감 있는 AI를 지향하는 기업은 AI 윤리 전문가를 어떤 식으로 통합해야 할까?

전 세계의 기술 및 AI 윤리 전문가들에게 기업이 이런 목표를 달성할 수 있는 방법을 물었다. 전문가들이 제시하는 베스트 프랙티스를 통해 기업은 윤리를 규제 준수 차원의 과제에서 지속적인 경쟁 우위의 원천으로 전환할 수 있을 것이다.

기술 교육자로서의 AI 윤리 전문가

어떤 사람들에게 ‘윤리주의자’는 조직의 일상적인 현실과는 거리가 먼, 자기 생각에 빠져 있는 사람의 이미지를 연상시킬 수 있다. 실제로 AI 윤리 전문가는 조직 전체에 수평적으로 영향력을 행사해야 하는 고도로 협력적인 직책이다.

영국 케임브리지 대학교의 AI 윤리 전문가인 조 페넬은 기업을 대상으로 성과 및 생산성과 함께 윤리에 대해 교육하는 컨설팅을 자주 하고 있다. 페넬은 윤리를 주짓수에 비유했는데, “높은 벨트로 올라갈수록 주짓수는 동작에 관한 것이 아니라 동작에 영향을 주는 원칙에 관한 것이 된다. 균형과 레버리지, 역동성 같은 원칙이 바로 그것이다”라고 강조했다.

페넬은 AI도 같은 방식으로 접근한다. 예를 들어, 생성형 AI의 착각률을 줄이기 위해 프롬프트 엔지니어링을 가르칠 때 학생들에게 특정 문구를 암기하도록 요구하지 않는다. 대신, 모델을 가르치기 위해 언제 예제와 지침을 사용해야 하는지 등 보다 광범위한 원칙에 대해 지도한다. 페넬은 이런 기술을 안전과 윤리를 고려한 전반적인 방법론으로 통합해 사람들이 윤리에 관심을 두도록 했다고 말한다.

호주 디자인 컨설팅 회사 씽크플레이스(ThinkPlace)의 수석 윤리 전문가인 대런 메나켐슨은 윤리 전문가의 핵심 책임 중 하나는 특히 거버넌스와 관련된 커뮤니케이션이라고 생각한다. 메나켐슨은 “거버넌스는 기업이 실제로 위험을 통제하고, 완화하고, 대처할 수 있는 기술에 대한 충분한 이해가 필요하다는 것을 의미한다. 이는 개념으로서의 AI가 잘 전달되어 사람들이 그 한계가 무엇인지 이해하고 책임감 있게 사용할 수 있도록 해야 한다는 것을 의미한다.”라고 설명했다.

물론 이런 지침에는 문화적 과제도 있다. 기술 생태계에는 이른바 “빨리 움직이고 낡은 것을 깨뜨리자”는 정서가 있는데, 특히 AI가 확산하면서 더욱 강해졌다. 메나켐슨은 “많은 기업이 절박함을 가지고 있다. 빠르게 움직이고, 현재 추세에 발 맞추고, 너무 중요하고 무시하기에는 너무 많은 혜택을 가져다주는 놀라운 기회를 활용해야 한다는 절박함이다”라고 말했다.

메나켐슨은 윤리 전문가, 특히 고위급 윤리 전문가가 이런 도전에도 불구하고 성공하려면 3가지 자질이 필요하다고 지적했다. 첫 번째는 AI 기술의 미묘한 차이와 이런 차이가 기업의 성향에 따라 어떤 위험 수준을 초래하는지에 대한 이해이다. 두 번째는 이해관계자를 참여시켜 “AI가 도입되는 비즈니스 맥락을 이해하고 일반적인 지침을 넘어 구체적인 지침을 제공”하려는 의지이다.

세 번째 자질은 두 번째 속성을 실행하는 데 핵심적인 역할을 한다. 메나켐슨은 “기술적인 언어나 고도로 학술적인 언어로 현업 사용자를 당황하게 하면, 이들의 지지를 잃고 실질적인 영향력을 행사할 기회도 잃게 된다. 고위 윤리 담당자는 전문 커뮤니케이터가 되어야 하며, 윤리적 위험을 최고 경영진의 전략적 우선순위와 어떻게 연결할 수 있는지 이해해야 한다”라고 덧붙였다.

두 가지 수준에서 실행 가능한 지침 제공

윤리는 주관적일 수 있지만, AI 또는 기술 윤리학자의 작업은 결코 부정확하지 않다. 사용자 동의와 같은 특정 문제를 다룰 때 윤리 전문가는 일반적으로 광범위한 베스트 프랙티스에서 출발해 기업에 맞는 권장 사항을 제시한다.

노스이스턴대학교와 경험적 AI 연구소의 AI 윤리학자인 매튜 샘플은 컴퓨터월드와의 인터뷰에서 “우리는 ‘책임감 있는 AI와 관련한 현재 업계 표준(또는 최첨단)이 무엇인지 설명하고, 다양한 가능성 속에서 우선순위를 정하는 것은 여러분의 몫’이라고 말한다”라며, “예를 들어, 기업이 AI 모델의 안전성, 편향성, 시간 경과에 따른 모니터링 등을 감사하지 않는다면, 이 문제에 집중하고자 할 것”이라고 설명했다.

샘플은 이런 베스트 프랙티스 외에도 기업이 윤리를 운영하는 방법과 같이 세분화된 조언도 제공한다. 만약 해당 기업에 AI 윤리에 대해 생각하는 사람이 한 명도 없다면, 신규 채용에 집중해야 할 수도 있다는 것이다.

하지만 강경한 권고는 피한다. 샘플은 “윤리 정신에 입각해 ‘지금 이 시점에서 이것이 유일한 옳은 일이다’라고 말하지는 않다”라고 덧붙였다.

메나켐슨은 워크플로우에 대해서도 비슷한 두 가지 접근 방식을 취한다. 최상위 레벨에서는 윤리 전문가들이 특정 사안에 대한 위험이 무엇이고 가능한 완화 및 통제 방안이 무엇인지에 대한 일반적인 지침을 제공한다. 메나켐슨은 “하지만 더 깊이 들어가야 할 필요도 있다”라고 지적했다. 

이 단계는 기업의 고유한 상황에 초점을 맞춰야 하며 기본적인 조언을 이해한 후에 수행할 수 있다. 메나켐슨은 “이런 실사가 완료된 후에야 의미 있는 권고 사항을 최고 경영자나 이사회에 전달할 수 있다. 실사가 완료되기 전까지는 실제로 의미 있는 방식으로 위험을 통제하고 있다는 확신을 가질 수 없다”라고 강조했다.

캠브리지의 페넬은 무엇을 논의하고, 다루고, 소통해야 하는지에 대해 AI 윤리학자들은 범위를 좁히기보다 넓혀야 한다고 생각한다. 페넬은 “AI 윤리 의제와 평가를 더 포괄적으로 다룰수록 AI 안전 구현이 더 다양해질 것이며, 마찬가지로 위험 예방 및 완화 전략도 더 강력해질 것”이라고 말했다.

모두가 윤리주의자가 되어야 한다

텔러스 디지털(Telus Digital)의 데이터 윤리 책임자인 제슬린 다이아몬드는 자신의 그룹이 레드팀을 통해 잠재적 오용과 같은 생성형 AI의 의도하지 않은 결과를 예상하고, 틈새를 파악하고 심지어 시스템을 의도적으로 파괴하려고 시도하는 등의 작업을 수행한다고 말한다. 다이아몬드는 “우리는 또한 퍼플팀을 통해 함께 가능한 결과를 보호하고 향상시킬 수 있는 혁신적인 솔루션을 구축하기 위해 블루팀이라는 개념을 사용한다”라고 설명했다. 

퍼플팀은 QA, 고객 서비스, 재무, 정책 등 다양한 분야의 전문가로 구성되어 있다. 생성형 AI의 비결정적 특성으로 인해 이런 다양한 관점, 입력, 전문 지식이 매우 필요하기 때문이다. 

다이아몬드는 퍼플팀 구성이 다양한 유형의 전문가가 기술을 사용할 수 있는 기회를 만들어 윤리에 있어 중요한 고려 사항인 위험과 의도하지 않은 결과를 탐색하는 데 도움이 될 뿐만 아니라 추가적인 이점을 발견하는 데도 도움이 된다고 말한다.

또한 텔러스는 직원들에게 데이터 거버넌스, 개인정보 보호, 보안, 데이터 윤리, 책임감 있는 AI와 같은 개념에 대한 전문 교육을 제공한다. 그런 다음 직원들은 각자의 있는 영역에서 데이터 관리자가 된다. 현재까지 텔러스는 500명 이상의 데이터 관리자로 구성된 네트워크를 보유하고 있다.

다이아몬드는 “AI 작동 방식에 더 익숙해지면 기술적으로 뛰어난 사람과 그렇지 않은 사람 모두 다양한 전문성과 배경을 가진 사람들이 이 중요한 작업에 충분히 참여할 수 있게 된다”고 설명했다.

윤리가 여러 분야에 걸쳐 있어야 한다는 것은 당연해 보이지만, 너무 많은 기업이 윤리를 조직의 구석에 몰아넣고 있다. 다이아몬드는 “기술을 의미 있게 관리하기 위해서는 사람이 기술을 이해하는 것이 매우 중요하며, 이해와 참여 사이의 긴장이 동시에 일어나야 한다”라고 강조했다.

윤리 혁신 문화 창출

윤리 자문의 목표는 동료나 고객이 추가 지침을 얻기 위해 항상 윤리 전문가에게 다시 찾아와야 하는 서비스 데스크 모델을 만드는 것이 아니다. 윤리 담당자는 일반적으로 이해관계자가 어느 정도 독립성을 확보하는 것을 목표로 한다. 샘플은 “우리는 파트너가 자급자족할 수 있도록 만들고 싶다. 파트너가 스스로 이 일을 할 수 있도록 가르치고 싶다”라고 말한다.

윤리 전문가들은 팀워크, 민첩성, 혁신과 마찬가지로 윤리를 회사의 핵심 가치로 장려할 수 있다. 이런 변화의 핵심은 AI를 구현하는 기업의 목표를 이해하는 것이다. 메나켐슨은 “AI가 비즈니스 모델을 변화시킬 것이라고 믿는다면, 고위 경영진과 이사회는 AI가 조직, 인력, 고객과 단절되지 않도록 해야 할 의무가 있다”라고 강조했다.

이런 조율은 기업이 단순히 기술이 유행한다는 이유로 명확한 전략적 방향 없이 AI에 뛰어드는 환경에서 특히 중요하다. 가트너의 윌렘슨은 전담 윤리 전문가나 팀이 AI를 둘러싼 근본적인 문제 중 하나를 해결할 수 있다고 말한다. 윌렘슨은 현재 진행 중인 프로젝트와 관계없이 이사회 차원에서 가장 자주 묻는 질문 중 하나는 회사가 AI를 사용할 수 있는지 여부라며, “어느 정도 이해할 수 있지만, 두 번째 질문인 ‘AI를 사용해야 하는가’는 거의 항상 생략된다”고 덧붙였다.

윌렘센은 이 두 가지 질문의 순서를 바꿔야 한다고 지적한다. “첫째, 무엇을 달성하려고 하는가? AI는 잠시 잊어버리자. 그 점에 가장 먼저 집중해야 한다”라며, 이런 접근 방식을 취하는 기업이 대부분 더 확실한 성공을 거둔다고 강조했다.

이 간단한 질문은 기업의 성찰과 자기 평가를 위한 더 큰 프로그램의 일부가 되어야 한다. 윌렘센은 기업이 질문의 범위를 넓히고, 어려운 질문을 하고, 그 답변에 관심을 갖고, 궁극적으로 그 답변으로 무언가를 실행함으로써 AI 윤리를 개선할 수 있다고 믿는다. AI가 혁신적일 수 있지만, 사람들에게 어떤 혜택을 줄 수 있는지, 또는 어떤 혜택을 주지 않을 수 있는지 면밀히 검토해야 한다는 것이다.

윌렘센은 “여기에는 AI 기술의 기능, 원치 않는 결과를 방지하고 기술을 통제해야 하는 정도뿐만 아니라 이를 실행하는 하드웨어를 위한 채굴 환경의 비인도적 조건, 데이터센터 냉각을 위한 전례 없는 전력 소비와 물 사용으로 인한 헤아릴 수 없는 피해 등도 고려해야 한다”고 말했다.

윌렘센에 따르면, 이런 문제를 충분히 인식하고 AI 이니셔티브에 이를 반영하는 기업은 혜택을 볼 수 있다. 윌렘센은 “AI 윤리의 가치는 당장 가시적으로 드러나지 않을 수도 있다. 하지만 무엇이 옳고 그른지를 아는 것은 장기적인 관점에서 볼 때 AI 윤리의 가치와 더 큰 혜택, 즉 정말 유용하고 합당한 곳에만 기술을 일관되게 적용하는 것을 의미한다”라고 강조했다.
[email protected]