다양한 구성원의 사업 개발 팀이 캠페인을 출시하기 위해 디지털 디스플레이에서 얻은 고객 인사이트를 활용하여 마케팅 전략을 기획합니다.

블로그
디지털 신뢰

AI 관리: 혁신과 감독의 균형 유지

AI는 잘 관리될 때만 가치를 제공합니다. 혁신의 속도는 유지하면서 통제와 감독, 책임성을 통해 조직을 안전하게 지키는 방법을 알아보세요.

알아야 할 사항

AI에 대한 투자는 출력물의 정확성과 신뢰성을 확보하고 조직의 목표에 부합하도록 만드는 통제 장치가 갖춰졌을 때 비로소 결실을 맺습니다.
효과적인 AI 관리는 핵심 위험 요소를 파악하고 이를 기존 규제 및 새로 도입되는 규제에 매핑하는 것에서 시작합니다.
AI 가치 사슬 내에서의 역할을 명확히 하면, 가장 관련성이 높은 법적 및 준수 요구사항의 우선순위를 정하는 데 도움이 됩니다.
AI는 설계부터 성과 모니터링에 이르는 모든 단계에서 명확한 책임성과 통제 장치를 갖춘 인간의 감독이 필요합니다.
위험 수준에 비례하는 통제 장치를 도입하면 혁신의 속도를 낮추지 않으면서도 조직을 보호할 수 있습니다.

투자만으로는 AI의 전체 가치를 실현하기에 부족합니다. AI를 개발하든 또는 사용하든, 효과적인 AI 관리가 필요합니다. 명확한 감독, 정의된 역할, 그리고 전체 AI 수명주기에 걸쳐 위험과 준수, 혁신의 균형을 맞추는 통제를 결합한 관리 체계가 필요합니다.

AI가 통제의 속도보다 더 빠르게 발전하면 어떻게 될까요?

귀사도 다른 많은 조직과 마찬가지로 비용을 절감하고 혁신을 촉진하며 경쟁업체보다 앞서나가기 위해 인공지능(AI)을 서둘러 활용하려 할 것입니다. AI는 불과 몇 년 만에 외곽에서 벗어나 장기 전략과 성장을 위한 핵심 고려 사항이 되었습니다. 이제는 AI에 투자할 것인가를 묻는 것이 아니라, 어디에 투자하고 얼마나 투입할 것인가를 결정하고 있습니다.

하지만 AI는 여전히 오류를 범할 수 있습니다. 최근 Chicago Sun-Times는 AI가 생성한 존재하지 않는 도서 목록을 추천작으로 게재했습니다. iTutor Group은 AI 기반 채용 도구가 55세 이상의 여성 지원자를 자동으로 탈락시켜 36만 5천 달러의 합의금을 지불해야 했습니다. 이러한 사례는 AI의 오류가 얼마나 빠르게 현실의 문제로 이어질 수 있는지 보여줍니다.

AI로 시간과 비용을 절약할 수 있습니다. 하지만 제대로 관리하지 않으면 둘 모두를 쉽게 낭비할 수 있습니다. 실수는 신뢰를 떨어뜨리고 법적 위험에 노출시키며 평판을 손상시킬 수 있습니다.

문제는 AI를 도입하는 데 급급한 나머지 새로운 위험을 제대로 파악하거나 관리하지 못한다는 점입니다. 당사의 연구에 따르면 공식적인 프로세스를 통해 AI 사용을 관리하는 조직은 47%에 불과합니다. 그리고 인력이 AI를 효과적으로 사용할 수 있는 기술을 갖추고 있다고 믿는 비율은 57%에 그쳤습니다. 도입과 관리 사이의 이러한 격차가 발생하는 지점에서 AI 투자 성과가 떨어지기 시작합니다.

AI 투자를 가치 있게 만들려면 올바른 결과를 보장하는 관리 시스템이 필요합니다.

AI 활용에서 어떤 역할을 맡고 있습니까?

효과적인 AI 관리는 AI 수명주기 내에서 역할이 무엇인지 이해하는 것에서 시작됩니다.

효과적인 AI 관리 시스템을 설계하려면 먼저 조직 내에서 AI가 어떤 기능을 하는지 명확히 해야 합니다.

AI에 대한 비전은 무엇입니까?
무엇을 달성하고자 합니까?
책임은 어디에서 시작하고 끝납니까?

조직에서 AI 솔루션을 구축할 수도 있습니다. 고객 환경에 AI를 내재화할 수도 있습니다. 또는 타사가 개발한 AI 시스템을 단순히 사용할 수도 있습니다.

조직이 수행하는 역할에 따라 위험과 책임성이 직접적으로 결정됩니다. 국제 AI 관리 표준인 ISO/IEC 42001에 정의된 이해당사자 역할을 바탕으로 어떤 역할이 가장 적합한지 고려해 보세요.

개발자 – 방화벽 및 사이버 보안에 관한 설계 위험을 부담합니다.
파트너 – 구현 위험을 떠안습니다.
제공자 – 서비스 신뢰성, 보안 및 연속성에 대한 책임을 집니다.
고객 – AI가 활용되는 방식에 대한 최종적인 책임을 집니다.

역할에 따라 필요한 역량도 달라집니다. AI 솔루션을 개발하려면 깊이 있는 기술적 전문성이 필요합니다. 반면 고객에게는 보다 넓은 조직적 인식이 필요합니다.

AI 관리에는 모두에게 적용되는 단일 모델이란 존재하지 않습니다. 하지만 역할을 정의하고 나면 구체적인 책임을 결정할 수 있습니다. 이는 알맞은 거버넌스 구조를 구축하기 위한 기준이 됩니다. 책임 있는 AI 도입은 혁신을 가능하게 하는 동시에 조직을 보호합니다.

AI 위험과 의무 사항은 어디에 있습니까?

역할을 이해하고 나면, 다음 단계는 위험에 노출된 부분과 규정이 어떻게 적용되는지 파악하는 것입니다. 예를 들어 EU AI 법안은 유럽에서 더욱 안전하고 책임 있는 AI 도입을 위한 프레임워크를 제공합니다.

하지만 전용 AI 법률의 적용 여부와 관계없이 이미 법적 의무를 지고 있을 수 있습니다. 개인정보 보호, 사이버 보안 및 제품 안전 관련 법률이 모두 관련될 수 있습니다. 일반 데이터 보호 규정(GDPR)에 따른 투명성 및 자동화된 의사결정 요구사항은 이미 수년 전부터 시행되어 왔습니다. 컴플라이언스는 AI 전용 법률에서 시작되지 않습니다. 현재의 컴플라이언스 의무 사항도 함께 살펴보아야 합니다.

역할을 먼저 이해함으로써 가장 중요한 위험과 의무 사항에 집중할 수 있게 됩니다. BSI의 AI 파운데이션 프레임워크는 조직의 상황에 맞는 위험을 파악하여 적절한 수준의 통제를 도입할 수 있도록 지원합니다. 혁신을 저해하지 않으면서 말입니다.

여전히 감독권을 유지하고 있습니까?

AI에 대한 신뢰를 구축하려면 인간의 감독이 필요합니다. 활용 방식에 따라 모습은 다르지만 항상 개개인에게 책임을 물을 수 있어야 합니다. 이 책임은 조직의 최상위층부터 아래로 차례대로 전달됩니다. 책임이 미뤄지는 것을 방지하기 위해 모든 수준에 역할과 책임을 내재화하세요.

전체 AI 수명주기에 걸쳐 명확한 감독 체계를 갖추고 있는지 스스로에게 물어보세요.

설계 및 구상 단계부터 정확성, 편향성, 위험에 대한 출력물 모니터링에 이르기까지 말입니다. 현재는 33%의 기업만이 현재 새로운 AI 도구를 도입하기 위한 정립된 프로세스를 갖추고 있습니다. 이러한 프로세스가 없으면 AI 사용이 확대됨에 따라 정확성과 책임성을 확보하기 어려워집니다. 단지 35%의 기업만이 AI가 의도대로 작동하는지 평가하는 표준화된 방법을 갖추고 있습니다. 효과적인 감독을 위해서는 AI가 작동하는 의사결정 가드레일을 정의할 인간이 필요합니다. 또한 해당 가드레일을 신뢰할 수 있는지 확인할 인간도 필요합니다.

이를 실현하려면 국제 모범 사례에 맞춘 기술 및 교육에 투자해야 합니다. 소프트웨어 개발 환경에서는 위험과 통제 항목을 검토할 때까지 다음 단계로 진행되지 않도록 하는 필수 점검 단계를 도입할 수 있습니다. 또한 인간의 요구와 가치를 AI 솔루션의 중심에 두는 설계 방법론으로서 인간 중심 AI(HCAI)를 고려할 수도 있습니다. 이 모든 것은 책임 있는 AI 도입과 혁신을 지원할 수 있습니다.

조직에 AI를 도입할 때 스스로를 점검해 보세요.

AI 수명주기 내에서 어떤 역할을 수행하고 있습니까?
이러한 역할이 위험과 책임성에 어떤 영향을 미칩니까?
그리고 전체 AI 수명주기에 걸쳐 인간의 책임을 어떻게 내재화할 수 있습니까?

올바르게 수행된다면 관리가 불필요한 부담이 되지 않을 것입니다. 관리는 위험을 줄이고 장기적인 가치를 창출할 기회를 만들어야 합니다.

확신을 가지고 앞으로 나아가는 방법

효과적인 AI 관리는 현재의 위치와 다음에 집중해야 할 부분을 파악하는 것에서 시작됩니다.

BSI의 모듈형 AI 파운데이션 프레임워크가 이를 지원합니다. 현재 역량을 평가하고, 특정 위험 프로필을 파악하며, 가장 큰 영향을 미칠 실질적인 조치의 우선순위를 정하도록 돕습니다.

프레임워크 내에서 AI 관리 모듈은 실제 AI 시스템이 얼마나 잘 관리되고 있는지에 집중합니다. 이는 공인된 ISO 및 NIST 표준을 기반으로 다음 사항을 지원합니다.