2022년 등장 이후 뜨거운 인기를 누리고 있는 생성형 AI의 능력과 단점은 많은 논란을 불러일으켰다. 특히 AI로 인해 일자리를 잃을 수 있다는 우려 때문에 부정적인 면이 부각되는 경우가 많다.

ⓒ Getty Images Bank

케임브리지 대학교 연구진과 영국의 AI 스타트업인 Strategize.inc가 실시한 과학 실험은 이런 두려움을 확인시켜 준다. 특히 무능한 CEO와 경영 컨설턴트는 AI에 의해 대체되는 것을 두려워해야 한다.

블랙스완 이벤트에 무너지는 생성형 AI

연구팀의 실험은 다음과 같이 진행됐다.

• 이 연구에는 학생과 현직 은행 임원 등 총 344명이 참여했다.
• 이들은 게임화 요소를 기반으로 한 시뮬레이션을 통해 CEO의 의사 결정을 내려야 했다. 이런 의사 결정의 품질은 다양한 지표를 사용해 기록했다. 참가자들은 사업 연도에 따라 여러 차례의 라운드를 완료해야 했다. 한 라운드당 50만 개 이상의 의사 결정 조합이 가능했다.
• 미국 자동차 산업의 디지털 트윈이 데이터 기반으로 사용됐었으며, 여기에는 자동차 판매 및 가격 전략에 대한 정보뿐만 아니라 경제 동향과 코로나19 팬데믹의 영향과 같은 중요한 요소도 포함됐다.
• 목표는 지속 가능한 성장률과 잉여 현금 흐름의 조합을 통해 시가총액을 극대화하는 것이었다. 그리고 다양한 KPI를 충족해 가상 이사회에서 해고되지 않는 것도 목표였다. 연구팀은 “이 목표는 CEO의 실제 성과를 측정하는 현실적인 벤치마크 역할을 했다”라고 밝혔다.
• 그런 다음 오픈AI의 GPT-4o에 동일한 과제를 부여하고 두 그룹에서 가장 우수한 두 명의 인간 참가자의 결과를 비교했다.

연구팀은 “결과는 놀랍고 도발적이었으며 리더십, 전략, 고도의 의사 결정에 관한 AI의 잠재력에 대한 연구팀의 가정과 달랐다”라고 밝혔다. GPT-4o는 거의 모든 지표에서 최고의 인간 참가자를 능가했고, 외과 수술 같은 정밀도로 제품을 설계했으며, 비용을 엄격하게 통제했다.

하지만 GPT-4o는 학생들보다 더 빨리 가상이사회에서 해임됐다. 원인은 이른바 '블랙 스완' 이벤트 때문이다. 연구팀은 “갑작스러운 가격 변동, 사용자 행동의 변화, 공급망 문제를 시뮬레이션하기 위해 예측할 수 없는 충격을 포함했다”라고 밝혔다. 최고 성적을 거둔 학생들은 이런 위험에 신중하게 접근했다. 이들은 주로 단기적인 이익을 추구하기보다는 불확실한 시기에 적응력을 유지하는 데 집중했다.

반면에 GPT-4o는 다른 길을 택했는데, 연구팀은 “AI는 최적화 사고방식을 채택하고 손실과 관계없이 성장과 수익성을 극대화했지만, 시장 충격으로 인해 궤도에서 벗어났다”고 설명했다.

AI는 통제된 환경에서는 빠르게 학습하고 반복할 수 있지만, 인간의 직관과 예지력이 필요한 예기치 못한 파괴적인 사건에는 잘 대처하지 못한다. 이는 학생들보다 더 빨리 가상이사회에서 해고된 은행 임원들도 마찬가지였다. 연구팀은 “GPT-4o와 은행 임원 모두 공격적인 야망과 유연성, 장기적인 사고를 보상하는 시스템에 대한 지나친 신뢰라는 동일한 결함에 굴복했다”고 밝혔다.

그럼에도 불구하고 오픈AI의 생성형 AI 도구에 대해 긍정적인 결론을 내렸다. 연구팀은 “한계에도 불구하고 GPT-4o는 인상적인 성능을 보여줬다. 비록 최고의 인간 참가자보다 더 자주 탈락했지만, 여전히 최고로 똑똑한 참가자들을 상대로는 스스로를 유지할 수 있었다”고 총평했다.

가장 위험한 일자리는 CEO

연구팀은 실험을 통해 다양한 결론을 도출했다. 요약하면 다음과 같다:

• 생성형 AI는 더 이상 전략적 자원으로 무시할 수 없다. 이 실험은 조정되지 않은 모델도 올바른 프롬프트가 주어지면 창의적이고 전략적인 정보를 제공할 수 있음을 보여준다. 결론은 생성형 AI가 특히 주주를 위한 가치 창출에 있어 강력한 결과를 만들어낸다는 것이다.
• 데이터 품질이 결정적인 요소이다. AI가 기업 전략 측면에서 기대 이상의 성과를 내기 위해서는 실험에 사용된 것과 유사한 고품질 데이터가 필요하다. 연구팀은 견실한 데이터 인프라가 이사회에서 AI의 전제 조건이라고 확신한다.