마르셀 프루스트의 소설 『잃어버린 시간을 찾아서』 제5권 '갇힌 여인'에서 화자는 연인 알베르틴을 자신의 파리 아파트에 사실상 가두고 일거수일투족을 감시한다. 알베르틴이 어디에서 누구를 만나는지, 무슨 생각을 하는지, 자신 몰래 다른 누군가를 욕망하고 있는 것은 아닌지에 관한 지독한 의심과 끔찍한 불안이 화자를 사로잡았기 때문이다. 화자는 그녀에게 고급 의상 등을 사주고 편안한 일상을 제공하지만, 알베르틴에게 그곳은 창살 없는 감옥으로 변한다.
"화자는 알베르틴의 외출을 밀착 감시하며 모든 데이터(동선, 언어, 표정)를 수집하여 그녀라는 존재를 완벽히 통제하고자 한다. 그녀의 모든 행동을 예측하고 존재를 소유함으로써 불안에서 벗어나고자 했던 화자의 강박은, 그러나 시간이 지날수록 관계의 숨통을 조였다. 결국 알베르틴은 어느 날 아침 작별 편지를 남기고 그곳을 전격적으로 떠난다. 뒤늦게 프랑수아즈를 통해 편지를 전달받고 절망에 빠진 화자의 모습은, 소유하려는 집착과 완벽한 감시가 도리어 관계의 완전한 파국을 불러온다는 비극적 진실을 드러낸다."
— 『잃어버린 시간을 찾아서』 (재해석 및 재구성)
현대 AX(AI Transformation) 시대의 기업 경영에서 초개인화(Hyper-Personalization) 서비스를 향한 데이터 수집 열망은 프루스트 소설 속 화자가 알베르틴에게 행한 감시와 닮아 있다. 알고리즘 기반의 AI는 고객의 클릭스트림, 위치 정보, 구매 이력, 생체 신호와 음성 데이터까지 실시간으로 수집·분석하여 고객의 다음 행동을 예측하려 한다. 맞춤형 혜택과 편리라는 화려한 옷을 입혀 자신의 플랫폼 안에 고객을 머물게 하려는 기업의 욕망은, 고객의 모든 삶을 데이터화해 실질적으로 소유하려는 의도와 직결된다.
데이터 수집이 고객 가치 창출이라는 본래의 목적을 넘어 순수한 통제와 상업적 이용만을 목표로 삼을 때, 비즈니스는 프루스트의 소설에서 나타난 감금의 파국으로 귀결한다. 고객이 자신이 24시간 감시당하고 있으며 자신의 행동이 알고리즘에 의해 조작되고 있다는 사실을 인지하는 순간, 브랜드를 향한 신뢰는 순식간에 불신과 거부감으로 변한다. 초개인화 서비스가 정당성을 얻고 지속가능한 고객 관계를 형성하기 위해서는, 데이터 수집 행위가 감시 자본주의로 흐르지 않도록 방지하는 데이터 거버넌스와 AI 윤리 체계가 필수적이다.
감시 자본주의
경영학 및 기술사회학 관점에서 초개인화를 명목으로 한 무분별한 데이터 수집의 위험성을 파헤친 사람은 하버드 경영대학원의 쇼샤나 주보프 교수다. 『감시 자본주의 시대(The Age of Surveillance Capitalism)』(2019)를 통해 주보프 교수는 데이터 기반 현대 빅테크 기업이 인간의 경험을 무료 원자재로 추출하여 행동 데이터로 전환하는 새로운 경제적 지배 형태를 '감시 자본주의'로 정의했다.
주보프 이론의 핵심은 '행동 잉여(Behavioral Surplus)'이다. 기업이 제공하는 서비스나 제품의 질적 개선에 직접적으로 필요한 수준(검색 정확도 향상, 앱 오류 수정 등)을 넘어서 수집되는 과도한 개인 데이터를 의미한다. 감시 자본주의자들은 행동 잉여를 고도화한 머신러닝 알고리즘에 쏟아부어 소비자가 가까운 미래에 무엇을 생각하고, 어디로 이동하며, 어떤 제품을 구매할지를 정밀하게 맞추어 '예측 제품(Prediction Product)' 생산과 연결 짓는다.
더욱 치명적인 문제는 주보프가 지적한 '행동 수정(Behavioral Modification)'에 있다. 기업은 행동 예측에 머물지 않고, 알고리즘을 통해 소비자의 선택과 감정을 유도한다. 프루스트 소설의 화자가 알베르틴의 동선과 오간 편지를 파헤쳐 그녀의 욕망을 자신이 원하는 방향으로 조율하려 했던 것처럼, 감시 자본주의는 소비자의 디지털 발자국을 추적하여 인간의 자율성과 자유 의지를 무력화한다. 고객을 주체적인 삶의 영위자가 아닌 '행동 잉여' 추출의 원천이자 알고리즘 조작의 대상으로 전락시키는 순간, 기업과 고객 사이의 전통적 신뢰 관계는 해체되고 정보 비대칭성에 기반한 지배 구조가 정착된다.
기업이 서비스에 필요한 수준을 넘어 개인의 행동 데이터를 수집·분석해 선택과 감정까지 유도하려 할수록, 고객의 자율성과 기업에 대한 신뢰는 오히려 훼손될 수 있다. (이미지=ChatGPT)
'프라이버시 역설'의 메커니즘
이러한 환경 속에서 현대 소비자는 심리적 우려와 실제 행동 간의 분열을 경험한다. 소비자는 개인정보 침해에 불안과 우려를 심각하게 표명하면서도 정작 실제 플랫폼 이용 과정에서는 보잘것없는 할인 쿠폰, 앱 사용의 소소한 편의성, 혹은 접속 절차의 간소화를 대가로 자신의 민감한 개인정보를 손쉽게 넘겨준다. '프라이버시 역설(Privacy Paradox)'이다.
이러한 모순은 소비자의 문제라보다는 구조적인 정보 비대칭성과 '제한된 합리성(Bounded Rationality)'에서 비롯된다. 소비자는 당장 눈앞에 주어지는 즉각적 보상에 더 큰 가치를 부여하는 반면, 먼 미래에 발생할 프라이버시 침해 위험의 가치는 대폭 할인하는 심리 기제에 노출돼 있다. 여기에 복잡하게 작성된 약관과 선택권이 부재한 독점적 플랫폼 구조가 더해지며 '프라이버시 역설'이 고착되고 강해진다.
그렇다고 '프라이버시 역설'이 기업 권력에 대한 소비자의 무조건적 용인과 무기력한 영구적 투항을 의미하는 것은 아니다. 보이지 않는 알고리즘이 자신의 모든 클릭과 표정, 위치를 상시 감시하고 끊임없이 추적하고 있음을 깨달은 소비자에게는 행동의 자율성이 위축되는 '위축 효과(Chilling Effect)'가 나타난다. 알베르틴이 화자의 밀착 감시 속에서 진심을 숨긴 채 영혼 없는 가식적 반응만을 보여주었듯, 알고리즘 파놉티콘에 가두어진 고객은 브랜드에 진정한 애착을 형성하는 대신 알고리즘의 유도에 방어적이고 왜곡된 행동 패턴을 출력하기도 한다. 그리하여 역으로 기업이 수집하는 데이터 자체를 오염시키고 진정한 고객 니즈 파악을 방해하는 결과를 초래할 수 있다.
유럽연합(EU)은 2018년 개인정보보호법(GDPR)을 시작으로 디지털 시장법(DMA), 디지털 서비스법(DSA)을 가동했다. (이미지=뉴시스)
글로벌 법제화와 테크래시(Techlash)
소비자의 '행동 잉여' 추출과 디지털 감시가 임계점에 도달함에 따라 전 세계 주요국의 사법 기관과 소비자는 거대 빅테크를 향한 강력한 사법적·입법적 반격, 즉 '테크래시(Techlash)'를 본격화하고 있다. 데이터 독점과 프라이버시 침해에 기반한 플랫폼 사업 모델에 대한 반격이 시작된 것이다.
유럽연합(EU)은 이 분야의 글로벌 표준 규제기구로서 대응을 주도하고 있다. 2018년 시행된 '개인정보보호법(GDPR)'을 시작으로, '디지털 시장법(DMA)', '디지털 서비스법(DSA)'을 연속적으로 가동했다. 나아가 2024년 유럽의회를 통과한 세계 최초의 'AI법(EU AI Act)'은 AI 기술의 위험도를 단계별로 분류하여, 인간의 행동을 무의식적으로 조작하거나 취약성을 악용하는 AI 시스템, 직장 및 교육 현장에서 감정 인식 AI, 그리고 무차별적 안면 인식 데이터 수집을 엄격히 금지하고 위반 시 최대 전 세계 매출의 7%나 3500만 유로의 폭탄형 과징금을 부과하도록 규정했다.
미국 역시 사법 당국을 중심으로 거대 IT 기업들에 강력한 법적 제재를 이어가고 있다. 미 연방거래위원회(FTC)와 법무부는 구글과 메타, 아마존을 상대로 맞춤형 광고 시장에서 데이터 독점 및 프라이버시 위반에 대한 대규모 반독점 소송을 진행 중이며, 캘리포니아주의 소비자 프라이버시법을 비롯한 각 주 단위의 강력한 개인정보 보호법이 속속 도입되고 있다. 기업이 고객 데이터를 무단 추출하여 상업적 이익을 도모하던 관행은 이제 명확한 법적·재무적 리스크로 부메랑이 되어 돌아오고 있다.
Privacy by Design의 7대 원칙과 ISO/IEC 42001
AI 데이터 윤리가 일회성 구호에 그치지 않고 경영 실무에 안착하기 위해서는, 시스템의 기획과 설계 단계부터 프라이버시 보호를 내재화하는 프레임워크와 글로벌 표준 거버넌스를 구축해야 한다. 프라이버시 거버넌스 분야 세계적인 표준 프레임워크는 캐나다 온타리오주 정보프라이버시 커미셔너였던 앤 카보키앙 박사가 1990년대 후반 정립한 'PbD(Privacy by Design, 기획 단계부터의 프라이버시)'다. PbD는 데이터 보호 조치를 제품이나 서비스가 완성된 후 사후적으로 덧붙이는 보안 옵션으로 다루지 않고 아키텍처 설계 초기부터 기본값으로 내재화하는 접근법으로, 개인정보보호의 중요한 구성요소로 국제적으로 인정받는다. PbD 프레임워크는 기업 실무진이 반드시 이행해야 할 '7대 기본 원칙'으로 구성된다.
첫째 '사전 예방적 보호(Proactive Not Reactive; Preventive Not Remedial)', 둘째 '기본값으로서 프라이버시(Privacy as the Default Setting)', 셋째, '설계 내재화한 프라이버시(Privacy Embedded into Design)', 넷째 '완전한 기능성: 포지티브 섬(Full Functionality: Positive-Sum, Not Zero-Sum)', 다섯째 '엔드투엔드 보안: 전체 생애주기 보호(End-to-End Security: Full Lifecycle Protection)', 여섯째 '투명성과 개방성(Visibility and Transparency: Keep It Open)', 일곱째 '사용자 중심의 프라이버시 존중(Respect for User Privacy: Keep It User-Centric)' 원칙이다.
2023년 12월 국제표준화기구(ISO)가 제정한 ISO/IEC 42001(인공지능 경영시스템) 표준은 기업이 AI 기술을 도입하고 운영할 때 발생할 수 있는 데이터 윤리, 편향성, 투명성, 안전성 리스크를 체계적으로 관리하는 경영 기준을 제공한다. 최고경영진은 독립적인 AI 윤리위원회를 가동하고, 초개인화 알고리즘이 '행동 잉여'를 부당하게 추출하거나 특정 계층을 차별하지 않는지 주기적인 윤리 감사를 수행해야 한다.
데이터 락인의 착시와 고객 주권
기업이 수집한 데이터 자산을 바탕으로 구축하고자 하는 궁극의 목표는 고객이 다른 서비스로 이탈하지 못하도록 가두는 '플랫폼 락인(Lock-in)' 효과다. 그러나 고객 데이터를 독점함으로써 완벽한 플랫폼 지배력을 행사할 수 있다는 생각은, 프루스트의 화자가 빠졌던 것과 동일한 치명적 착각이다.
소설 속 화자는 알베르틴의 일과를 완벽히 통제하고 그녀가 원하는 최고급 의상을 사주었으므로 그녀가 결코 자신의 아파트를 떠나지 못할 것이라고 확신했다. 그러나 감시와 구속에 기반한 관계는 가장 취약한 고리에서 한순간에 무너진다. 프랑수아즈에게 짐을 부탁하고 작별 편지를 남긴 알베르틴의 이탈은, 인간이란 아무리 섬세하게 설계된 감옥이라 할지라도 자신의 자율성과 존엄성이 훼손되는 순간 모든 물질적 혜택을 포기하고서라도 미련 없이 떠날 수 있는 존재임을 증명한다.
비즈니스 현장에서도 동일한 원리가 작동한다. 고객을 개인화 알고리즘으로 포위하여 인위적으로 가두려는 기술적 락인 전략은, 더 윤리적이고 투명하며 소비자 주권을 존중하는 대안적 서비스가 등장하는 순간 일시에 붕괴한다. 데이터의 소유자를 자처하며 고객의 일상을 감시하는 기업은 고객의 이탈을 막을 수 없다. 반면 데이터의 위탁자로서 책임감 있게 권한을 행사하는 기업만이 지속가능한 고객 충성도를 얻는다. '설명 가능한 AI(XAI)'를 도입하여 추천의 이유와 논리를 투명하게 밝히고, 고객이 자신의 데이터에 열람·수정·삭제권을 손쉽게 행사할 수 있도록 인프라를 개방하는 기업만이 데이터 오남용의 시대에 대안 없는 브랜드 가치를 구축할 수 있다.
[안치용의 Critique: 감금의 통제에서 신뢰의 개방으로]
데이터가 21세기의 핵심 원유로 불리는 AX 시대에 기업이 고객의 삶과 니즈를 깊이 있게 이해하고자 하는 열망 자체는 비난받을 일이 아니다. 그러나 그 이해의 목적이 고객의 ‘행동 잉여’를 추출하여 자율성을 침해하고 행동을 조작하는 '감금의 경영'으로 흐른다면, 기업은 소설 속 화자처럼 결국 가장 소중한 고객의 신뢰를 잃고 파국을 맞이할 것이다. 얼마나 많은 행동 데이터를 모았느냐보다 수집된 데이터를 얼마나 윤리적으로 다루며, 그 과정에서 고객의 존엄성과 주권을 얼마나 보장하고 있느냐가 훨씬 더 중요하다. 감시는 상대를 가두지만, 신뢰는 상대를 머물게 한다. 연인이든 소비자이든 영구적 감금은 불가능하다.
안치용 ESG비즈니스리뷰 발행인 겸 아주대 융합ESG학과 특임교수
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지