2023년에 모든 조직이 2024년에 최소 한 개 이상의 프로젝트를 시도해야 할 정도로 과대 포장된 생성형 AI가 지난해 기술계의 핵심 화두였다. IT 부서는 개념 증명(PoC)을 진행했고, 수익성 관리가 필요한 IT 부서 외의 비즈니스 리더도 IT에 알리지 않은 채 독자적인 실험을 진행했다. AI 기반 서비스 가입만으로도 쉽게 시도할 수 있었기 때문이다. 미국 DX 컨설팅 기업 UST의 기술 서비스 사업 부문 CIO 크리슈나 프라사드는 “어느 정도의 섀도 IT는 예상했지만, 지난해에는 그 규모가 훨씬 컸다”라고 전했다.
문제는 비즈니스 부서에서 독자적으로 움직일 경우 IT가 통제력을 잃게 되고, 데이터와 지적 재산의 손실을 방지하는 일이 더 큰 과제가 된다는 점이다. UST는 이를 해결하기 위해 AI 리더십 협의회를 구성하여 모든 프로젝트에 동일한 통제가 적용되도록 하고, 독단적인 실험으로 지나치게 벗어나는 일을 방지하고자 했다. 또한, AI 거버넌스를 대폭 강화했다.
Krishna Prasad, chief strategy officer and CIO, UST
UST
2024년에는 수많은 PoC가 진행됐으나 대부분 기대에 미치지 못했다. 핵심 문제는 AI 알고리즘의 신뢰성 부족이었다. 모델이 5%의 오류를 보이더라도 대부분의 사용자는 이를 쓸모없다고 판단했다. 또한 IT 부서가 새로운 기술을 지원할 역량을 갖추지 못했다는 점도 문제였다. 필요성을 미리 예측하지 못해 예산 확보가 늦어졌고, 외부 인력 채용도 어려웠다.
모든 변화가 급속도로 진행됐다. IT 리더들은 보통 기술이 가트너의 하이프 사이클을 따라간다고 예상하지만, 생성형 AI는 이보다 더 빠르게 발전했다. 서던플로리다대학교(USF)의 CIO 시드니 페르난데스는 “지난해 놀라웠던 점은 AI의 하이프 사이클이 실망의 골짜기(trough of disillusionment)로 너무 빨리 진입했다는 사실이었다”라고 설명했다.
그럼에도 불구하고, 언론에 소개된 성공 사례는 충분히 많았고, 경영진은 자신들의 IT 부서가 왜 동일한 성과를 내지 못했는지 궁금해했다. 미래를 내다보는 CIO들이 먼저 깨달은 것은 비즈니스 리더들의 AI 교육 필요성이었다. 이러한 교육은 AI 알고리즘의 실제 비즈니스 가치에 대한 잘못된 인식을 바로잡는데 도움이 되었다.
AI가 가져다준 비즈니스 가치는 기대했던 곳에서만 발견된 것은 아니었다. 프라사드는 생성형 AI의 주요 활용 사례를 세 가지로 분류했다. 첫째는 개인과 조직의 생산성 향상이며, 둘째는 비즈니스 프로세스의 혁신, 셋째는 AI를 활용한 새로운 수익 창출 제품과 서비스 구축이다.
대부분의 IT 리더는 두 번째와 세 번째 유형에서 성과를 입증하는 데 어려움을 겪었다. 그러나 2024년 말에 이르러 개인 생산성 앱들이 꾸준한 성과를 보이며, 많은 앱들이 일상 업무의 필수 도구로 자리잡았다. 예를 들어, 대부분의 사람들이 AI를 활용해 회의 기록을 작성하고 있다. 페르난데스는 이러한 성공 사례가 하이프 사이클의 가속화를 보여주는 증거라고 밝혔다. 그는 “흥미롭게도 연말이 되면 생성형 AI가 생산성 측면에서 이미 정점에 도달했을 것으로 예상된다”라고 언급했다.
2024년에서 얻은 통찰을 고려할 때, CIO들은 2025년을 맞이하며 다음 세 가지 사항을 반드시 주목해야 한다.
비즈니스 부서에 AI를 교육하고, CIO는 비즈니스를 학습하자
실망을 최소화하기 위해 기술 담당자는 비즈니스 리더의 기대치를 관리해야 한다. 동시에 새로운 기술의 가치를 알리는 전도사 역할도 수행해야 한다. 페르난데스는 “CIO는 전도자, 교육자, 현실주의자가 되어야 한다”라며 “IT 리더는 과대 포장보다는 과소 포장을 선택하고, 비즈니스 사례의 맥락에서만 기술을 홍보해야 한다”라고 강조했다.
세이브더칠드런 재단의 CTO 론 게리어는 비즈니스 리더들이 AI에 대해 실제로 가능한 것을 배우도록 돕는 한 가지 방법으로 책을 추천하는 것을 제안했다. 게리어는 ““구글 검색이나 유튜브 동영상만으로 정보를 얻도록 두지 말자”라고 설명했다.
프라사드는 IT 리더가 비즈니스를 이해하기 위해 스스로 노력해야 한다고 본다. 비즈니스 리더와 더 자주 만나고, 내부 팀원도 비즈니스 파트너와 정기적으로 소통하도록 장려해야 한다. IT 리더는 기술적 능력만으로는 더 이상 가치를 창출할 수 없다는 점을 인식하고, 위험 감소, 비용 절감, 수익 증대라는 세 가지 비즈니스 관점에서 프로젝트를 논의하는 방법을 습득해야 한다.
도시바의 미국 비즈니스 솔루션 및 도시바 글로벌 커머스 솔루션의 CIO 레온 로버지는 기술 리더가 비즈니스에 더 적극적으로 참여하고 팀의 모범이 되어야 한다고 본다. 로버지는 “개인적으로 다른 C레벨 경영진의 비즈니스 회의에 매달 참석해 비즈니스의 목소리를 직접 듣고 있다”며 “우리의 방향성, 수익 창출 방식, 비즈니스 리더의 과제 해결과 목표 달성을 지원하는 방법을 고민하고 있다”고 전했다.
2025년에 IT 리더는 AI에 투자하되, 측정 가능한 가치를 입증할 수 있는 사례에 집중한 후 점진적으로 발전시켜야 한다. 페르난데스는 “AI에 대한 대규모 투자를 너무 일찍 결정하면 환멸의 늪에 빠질 수 있으며, 이를 극복하기 어려울 것”이라고 경고했다. 이어 “다른 프로젝트처럼 중간 규모로 투자하고 장단기적 ROI를 보여줘야 한다”라고 설명했다.
Leon Roberge, CIO for Toshiba America Business Solutions and Toshiba Global Commerce Solutions
Toshiba America
USF는 비즈니스 부서가 프로젝트 선정을 주도하고, 관련 리스크는 관계 부서들이 함께 책임지는 방식을 채택했다. 페르난데스는 IT 지출의 블랙홀을 피하기 위해 비즈니스가 투자하는 영역에만 투자한다는 원칙을 세웠다고 설명했다.
전사적 AI 활용을 준비하라
주요 소프트웨어에 AI가 통합되고 있는 만큼, 기존 패키지 사용자들은 이러한 혁신적 변화에 적응할 준비를 해야 한다. 프롬프트 엔지니어링 학습뿐 아니라 일부 응답에 대해 비판적 시각을 유지하는 것도 중요하다. AI의 환각 현상은 당분간 계속될 것이기 때문이다.
AI가 강화된 엔터프라이즈 애플리케이션은 업무 방식을 바꿀 것이다. USF의 페르난데스에 따르면, IT 리더는 직원들과 비즈니스 인력이 AI 공동 작업 툴(Co-pilots)을 최대한 활용할 수 있도록 준비를 철저히 해야 한다. 그는”이는 매우 중요한 과제가 될 것”이라고 강조했다.
CIO는 산업, 지역, 회사의 고유한 요구 사항을 충족할 맞춤형 도구를 위한 플랫폼을 구축해야 한다. 예를 들어, 헬스케어 산업에 사용할 AI 모델은 물류 산업에서 사용하는 모델과 다르게 개발될 것이다. 기업마다 고유한 비즈니스 방식과 데이터 세트를 보유하고 있으며, 회사 내에서도 마케팅 부서와 고객 서비스 부서가 활용하는 데이터는 다르다.
세이브더칠드런 재단의 게리어에 따르면, 2024년에 IT 리더들이 AI 프로젝트를 진행하면서도 데이터 토폴로지(데이터 수집, 형식화, AI 모델로의 입력 방식)에 대한 이해 없이 작업했던 점이 가장 놀라운 부분이었다고 한다. 게리어는 “흔히 말하는 ‘쓰레기를 넣으면 쓰레기가 나온다(Garbage in, garbage out)’는 격언과 같다”라며 “최고의 AI 도구도 잘못된 소스의 데이터를 사용하면 나쁜 결과를 낳을 수 있어 IT 리더는 2025년에 데이터 관리를 강화해야 한다”라고 지적했다.
페르난데스는 에이전트 AI의 보급 확대로 IT 리더의 데이터와 IP 보호가 중요해졌다고 본다. 페르난데스는 “에이전트 AI가 데이터 레이크의 정보를 습득하게 되면서 통제할 수 없는 속도로 데이터가 노출될 것이므로 데이터 거버넌스, 손실 방지 정책, 사이버 보안 프로세스를 더욱 강화해야 한다”고 설명했다.
대부분의 IT 부서가 생성형AI의 등장에 대비하지 못했던 이유 중 하나는 필요한 역량을 갖추지 못했기 때문이다. 내년의 더 큰 도전에 대비하려면 IT 리더는 세 가지 선택지가 있다. 내부에서 역량을 키우거나, 외부에서 채용하거나, 신뢰할 수 있는 기업과 전략적 파트너십을 구축해 필요한 기술을 확보하는 것이다.
도시바의 로버지는 IT 조직을 위한 혁신 및 전략 부서를 신설하고 있다. 로버지는 “조직 내외부에서 데이터 엔지니어와 데이터 과학자를 발굴하고 채용해 경쟁력을 확보할 것”이라고 전했다.
기본 IT 운영에서 빈틈을 허용하지 말자
생성형 AI 열풍으로 많은 IT 리더가 기본적인 업무에 소홀했다. UST의 프라사드는 “이제 효율적인 운영의 가치를 재조명해야 할 시점이다”라며 “업무의 기본을 잊으면 그 피해가 고스란히 돌아올 것”이라고 강조했다.
월그린 부츠 얼라이언스의 수석 부사장 겸 CIO 닐 샘플은 IT 리더가 시스템 운영 유지(KTLO: Keep the Lights On, IT 업계에서 자주 사용되는 용어로, 조직의 기본적인 IT 운영과 유지 보수를 안정적으로 관리하는 것을 의미한다)를 성공의 토대로 여겨야 한다고 본다. AI는 매력적이지만 KTLO가 더 확실한 성과를 제공한다. 시스템 현대화, 플랫폼 통합, 구형 솔루션 폐기는 복잡성을 줄이고 민첩성을 높인다. 샘플은 “이러한 단계는 비용 절감과 생산성 향상뿐 아니라 IT 부서의 AI 지원 역량도 강화한다”고 설명했다.
AI는 신뢰할 수 있는 데이터를 기반으로 작동하므로 데이터 거버넌스와 통합 같은 전통적 IT 관행이 필수다. 품질이 낮은 데이터는 최고의 AI 모델도 약화시키므로 기초 IT 작업이 더욱 중요하다. 샘플은 “안정적인 IT 운영은 AI 내장 도구의 정상 작동을 보장해 중단을 최소화하고 신뢰를 유지한다”라며 “AI의 잠재력은 KTLO라는 탄탄한 기반 없이는 실현될 수 없다”라고 강조했다.
샘플은 IT 리더가 최신 IT 환경의 복잡성 관리를 위해 기술 부채도 정리해야 한다고 조언했다. 구형 시스템, 과도한 맞춤화, 파편화된 아키텍처는 발전을 저해하고 위험을 높이며 혁신 확장을 어렵게 만든다. 기술 부채를 지속적인 투자로 간주하면 IT의 탄력성과 적응력을 유지해 미래의 도전에 대비할 수 있다.
샘플은 “AI가 더 주목받고 있지만 사실 KTLO는 꾸준하고 측정 가능한 결과를 제공한다”며 “강력한 운영 기반 투자와 기술 부채 감소는 혁신 성공의 토대가 된다. CIO는 이러한 단순하지만 필수적인 우선순위에 집중함으로써 IT 환경을 단순화하고 2025년 이후에도 자신감을 가지고 발전을 이끌 수 있다”라고 전했다. dl-ciokorea@foundryco.com
