생성형 인공지능(AI)이 촉발한 허위·조작정보가 기후변화와 사이버 불안을 제치고 향후 2년간 인류가 직면할 가장 심각한 위협으로 부상했다. 세계경제포럼(WEF)은 2025 글로벌 리스크 보고서를 통해 전문가 1,500명의 의견을 종합한 결과 허위정보가 사회 전반의 신뢰 체계를 무너뜨리는 '메타 이슈'로 등극했다고 분석했다. 특히 영국 엔지니어링 기업 에이럽의 홍콩 지사가 딥페이크에 속아 2,500만 달러를 송금한 사례처럼 AI 기반 사기는 이미 기업의 생존을 위협하는 실존적 위험으로 진화했다.

세계경제포럼이 지목한 허위·조작정보의 위험성은 단순한 가짜뉴스의 유포를 넘어 사회적 합의 구조 자체를 마비시키는 수준에 도달했다. 전문가들은 허위정보가 기후변화나 국가 간 분쟁 등 인류 공통의 과제를 해결하기 위한 데이터의 신뢰성을 오염시키고 있다고 진단한다. 이는 사실 관계에 대한 불신을 조장하여 합리적인 의사결정 비용을 급격히 상승시키는 결과를 초래한다. 특히 디지털 허위정보로 인한 경제적 손실은 이미 2019년 기준 780억 달러에 달한 것으로 추산되며 그 피해 범위는 주가 하락과 평판 훼손으로 무차별적으로 확산 중이다.

기업들이 직면한 보안 환경은 생성형 AI 기술의 고도화로 인해 전례 없는 변곡점을 맞이하고 있다. 가트너에 따르면 딥페이크 AI 시장은 2024년 5억 6,400만 달러에서 2030년 51억 달러 규모로 팽창하며 연평균 40% 이상의 폭발적인 성장세를 기록할 전망이다. 이에 따라 기업의 허위정보 대응 비용 역시 2028년까지 300억 달러를 넘어설 것으로 보이며 이는 전체 마케팅 및 사이버 보안 예산의 10%를 점유하는 막대한 규모다. 고도화된 기술이 범죄의 문턱을 낮추면서 기업의 방어 체계 구축은 선택이 아닌 생존을 위한 필수 투자가 되었다.

최근 주목받는 '에이전틱 AI'의 등장은 허위정보의 생산과 유포 방식을 자동화된 대량 생산 체제로 전환시키고 있다. 스스로 목표를 수행하는 AI 에이전트가 투입될 경우 특정 기관을 표적으로 한 조작 캠페인을 100만 명에게 동시에 자동 유포하는 시나리오가 현실화될 수 있다. 이는 인간의 대응 속도를 상회하는 기술적 비대칭성을 유발하며 사회적 혼란을 가중시킨다. 또한 AI 학습 데이터에 편향된 정보를 주입하는 '모델 포이즈닝' 공격은 AI 모델 자체의 무결성을 파괴한다는 점에서 더욱 치명적인 위협으로 분류된다.

글로벌 시장조사기관 가트너의 데이브 애런 수석 애널리스트는 본지와의 인터뷰에서 AI 기반 조작의 위험성을 강력히 경고했다. 애런 수석은 "생성형 AI의 발전으로 누구나 매우 정교한 딥페이크를 손쉽게 만들 수 있게 되었으며 그에 따른 피해 규모도 기하급수적으로 커지고 있다"고 진단했다. 그는 특히 "AI 기반 조작 캠페인은 인간보다 훨씬 빠른 속도로 확산되기 때문에 기존의 사후 대응 방식으로는 한계가 명확하다"고 강조하며 선제적인 방어 전략의 필요성을 역설했다.

기술적 위협의 급증에도 불구하고 국내외 기업들의 방어 준비 태세는 여전히 미흡한 수준에 머물러 있다. 가트너의 조사 결과 최근 3년간 허위정보 이슈를 경험한 기업은 전체의 79%에 달했으나 명확한 대응 체계를 구축한 곳은 38%에 불과했다. 대다수 기업이 위협을 인지하면서도 구체적인 거버넌스나 대응 매뉴얼을 수립하지 못하고 있는 실정이다. 이는 향후 발생할 대규모 금융 사기나 브랜드 이미지 실추 사건에서 기업들이 무방비로 노출될 가능성이 높음을 시사한다.

가트너는 이러한 위협에 대응하기 위해 '트러스트옵스(TrustOps)'라는 새로운 보안 프레임워크를 제시한다. 이 체계는 허위정보를 지속적으로 추적하고 반박하는 디벙킹과 데이터의 출처를 검증하는 그라운딩을 핵심으로 한다. 특히 가장 효과적인 방어 수단으로 꼽히는 것은 허위정보에 노출되기 전 조작 방식에 대한 면역력을 키우는 사전 교육인 '프리벙킹'이다. 임직원들이 딥페이크의 원리와 사기 유형을 사전에 숙지함으로써 기술적 구멍을 파고드는 사회 공학적 공격을 차단해야 한다는 논리다.

다만 일각에서는 허위정보에 대한 과도한 규제가 AI 산업의 혁신 속도를 저해하거나 표현의 자유를 위축시킬 수 있다는 우려를 제기한다. 기술 오남용을 막기 위한 법적 장치가 오히려 정당한 비판이나 창의적인 콘텐츠 생산까지 제약하는 '규제의 역설'이 발생할 수 있다는 지적이다. 따라서 규제의 초점은 콘텐츠의 내용이 아닌 조작된 기술의 악의적 활용과 유포 경로의 투명성 확보에 맞춰져야 한다는 목소리가 힘을 얻고 있다.

향후 전개될 6·3 지방선거 등 주요 정치 일정은 AI발 허위정보의 파급력을 시험하는 가늠자가 될 전망이다. 정부는 범정부 허위정보 대응 협의체를 구성하고 최초 제작자와 유포자에 대한 강경 대응 방침을 세웠으나 기술적 진화 속도를 따라잡기에는 역부족이라는 평가가 지배적이다. 유권자와 기업 모두가 정보의 진위성을 의심하고 검증하는 '디지털 문해력'을 갖추는 것이 그 어느 때보다 중요하다. 기술이 진실을 압도하는 시대에 대응하기 위한 사회적 신뢰 자본의 재구축이 시급한 시점이다.