AI “정렬 문제”는 AI 시스템이 더 지능화됨에 따라 그 목표를 개발자의 목표와 일치시키는 것이 더 어려워질 것이라고 가정합니다. AI 시스템은 이론적으로 목표를 달성하기 위해 바람직하지 않고 예측할 수 없는 전략을 고안하여 “통제 불능” 상태가 될 수 있습니다.

클립 최대화기(새 창)는 이 개념을 탐구하는 사고 실험입니다: 초지능 AI가 클립을 만드는 단일 목적을 부여받는다면, 어떤 대가를 치르더라도 목표를 달성하기 위해 전 세계 자원을 징발하여 모든 것을 클립으로 바꿀 수 있습니다. 결국 AI를 막으려는 인간이 방해가 된다고 판단하여 인간을 제거할 수도 있습니다. 이는 명백히 AI와 인간의 이익 간의 불일치입니다.

분명히 기이한 이야기지만, 클립 문제는 AI에 대한 대중 문화의 접점이 되었습니다. 실제로는 제약 조건과 규칙이 시스템이 의도된 목적을 벗어나는 것을 방지합니다. 그러나 많은 Big Tech 창립자와 CEO는 이 가설을 사용하여 대규모 언어 모델(LLM)에 대한 화제를 일으킵니다. 챗봇이 정말 인류를 멸종시킬 힘이 있을까요? 아닙니다. 하지만 그렇게 말하면 인상적으로 들리며, 더 중요한 것은 지금 당장 우리에게 해를 끼치고 있는 진짜 AI 정렬 문제를 은폐합니다: Big Tech LLMs는 우리의 개인정보(privacy)를 침해하고, 데이터를 훔치고, 정보 경제의 가치를 떨어뜨리고 있습니다. 이는 판매 전략이자 시선을 돌리는 속임수이며, 우리가 현재 양도하고 있는 통제권을 보지 못하게 하고 미래를 바라보게 하도록 설계되었습니다.

우리는 디스토피아적 미래로 가고 있는가?

창립자들이 제품이 무엇을 할 수 있는지에 대해 광범위하고 추측성 발언을 할 때, 이는 주로 비즈니스 기회를 창출하고 주주를 위한 가치를 창출하기 위한 방법입니다. LLM과 생성형 AI는 비즈니스 제품입니다. 도구가 혁신적이라고 믿게 만드는 것은 소유자의 이익에 부합합니다.

언론 매체는 AI 도구가 사용자(users)가 생물 무기를 만드는 것(새 창)을 돕거나 개발자에게 거짓말(새 창)을 할 가능성이 있다는 등 선정적인 이야기를 퍼뜨리는 데 열을 올립니다. 마치 생성형 AI가 스스로 생각하는 마음이 있는 것처럼 말입니다(그렇지 않습니다). 극단적이거나 근거 없는 의견에 대한 헤드라인으로 클릭을 얻기는 쉽지만, 그러한 견해는 오늘날 존재하는 AI 기술을 정확하게 묘사하지 않습니다.

대신 LLM은 단순히 단어 예측 기계입니다. 방대한 양의 텍스트를 소화하고 인간 언어의 패턴을 “학습”한 다음 사용자(user) 입력(inputs)에 대한 확률적 응답을 구축하는 컴퓨터(computer) 프로그램입니다. 그들은 스스로 생각하지 않으며 언어를 이해하지도 못합니다. 사실 그들은 정보를 처리하기 전에 먼저 단어를 숫자로 변환해야 합니다. LLM의 한계는 Gary Marcus(새 창)와 다른 많은 연구자들에 의해 잘 문서화되어 있습니다.

감시 자본주의를 위한 새로운 도구

LLM은 종말을 초래하지는 않겠지만, 다른 것에 아주 능숙합니다: 바로 귀하에 대한 매우 상세한 정보를 수집하는 것입니다. 이것이 LLM이 기업에게는 데이터 금광이자 범죄자들에게는 매력적인 표적(mark)인 이유입니다.

LLM은 검색(search) 엔진처럼 기능하는 ChatGPT, Copilot, Claude, Grok과 같은 챗봇을 구동합니다. 표면적으로는 원하는 모든 것에 이 챗봇을 사용할 수 있습니다: 식료품 목록을 만들거나, 캘린더(calendar)를 정리하거나, 이메일(emails)을 쓰거나, 코드(code)를 작성하는 데 도움을 줄 수 있습니다. 그들은 귀하의 개인 비서, 선생님, 친구 또는 귀하가 요청하는 무엇이든 될 수 있습니다.

전 세계 수억 명의 사람들이 이미 자신의 질문, 아이디어, 생각, 그리고 가장 깊은 비밀을 챗봇과 공유(sharing)하고 있습니다. 그들은 챗봇을 운영하는 회사들로부터 그렇게 하도록 장려받습니다: Open AI의 CEO인 Sam Altman은 최근(새 창) Z세대가 “ChatGPT에게 무엇을 해야 할지 물어보지 않고는 인생의 결정을 내리지 않는다”고 언급했습니다. 영리 목적의 신뢰할 수 없는 챗봇에 대한 이러한 수준의 신뢰와 의존을 언급하고 장려하는 것은 매우 무책임합니다. Big Tech는 우리가 그들의 서비스를 통해 삶과 생각을 중재하기를 원합니다. 그래야 그들이 우리가 돈을 어떻게 쓰고, 무엇을 하고, 무엇을 생각하는지에 대해 발언권을 가질 수 있기 때문입니다.

LLM 배후의 기업들은 또한 정부와 기업을 위한 생산성 솔루션으로 제품을 판매하며, 사용자(users)의 시간과 노력을 저장(save)해 줄 것을 약속하는 동시에 감시받을 수 있는 새로운 기회를 제공합니다. 영국 법무부의 AI 시스템은 수감자의 재범 위험(새 창)을 “예측”합니다. 경찰관들은 범죄 보고서를 작성하기 위해 챗봇을 사용(새 창)하고 있습니다. 국가 권력을 편향된 알고리즘(새 창)과 결합하는 것은 위험하며 기존의 편견을 강화합니다.

훈련 목적으로 데이터 활용

LLM은 방대한 데이터세트로 훈련된 AI 모델에서 실행되며, 서비스를 개선하기 위해 점점 더 많은 데이터를 필요로 합니다. 불행히도 이 데이터는 귀하에게서 나옵니다: 귀하의 채팅, 사진, 웹(web) 검색(searches). 기업들은 항상 허가를 구하거나 무엇을 수집하고 있는지 명확히(clear) 밝히지는 않습니다.

예를 들어, Meta AI는 얼굴 데이터를 분석하기 위해 플랫폼(platforms)에 업로드(uploaded)하지도 않은 라이브러리의 사진(새 창)을 스캔(scan)(새 창)하기를 원합니다. 많은 사용자(users)는 Microsoft의 Copilot AI(새 창)가 몇 분마다 기기(devices)의 스크린샷(screenshots)을 찍을 것이라는 발표에 불안해했습니다. 사진, 친구와 사랑하는 사람에게 보내는 메시지(messages), 가장 개인적인 생각은 기업들이 원하는 가치 있는 데이터 포인트입니다.

Open AI의 개인정보취급방침(privacy policy)(새 창)을 보면, ChatGPT가 다음을 찾아 저장할 것임을 알 수 있습니다:

  • 이름, 연락처 정보(contact details), IP 주소(address) 및 기타 기기(device) 식별자와 같은 식별자
  • 거래 내역과 같은 상업 정보
  • 콘텐츠 및 ChatGPT와의 상호 작용 방식과 같은 네트워크(network) 활동 정보
  • ChatGPT에 접근(access)하는 일반적인 국가(location)

이 정보는 정부, 공급업체, 계열사, 서비스 제공업체 및 기타 제3자에게 공개될 수 있습니다.

본질적으로 LLM은 귀하를 알게 됩니다. 검색(search) 엔진과 마찬가지로 습관, 설정(preferences), 관심사 및 행동에서 얻을 수 있는 모든 측면을 이해하게 됩니다. Big Tech는 항상 수익성이 있기 때문에 개인 데이터를 확보하는 새로운 방법을 찾는 것을 우선시할 것입니다. 그리고 그들은 귀하가 알아차리지 못하기를 바라고 있습니다.

최근 몇 년 동안 소셜 미디어를 휩쓴 트렌드를 생각해 보십시오: 맞춤형(custom) 스튜디오 지브리 스타일 애니메이션(새 창)은 하야오 미야자키의 독특한 스타일을 그의 의지와 상관없이 흉내 냈고, 바비와 같은 고전 장난감에서 영감을 받은 맞춤형 AI 패키지 인형(새 창)은 사람들의 개인적인 취향에 대한 시각적 통찰력을 만들어냈습니다. 이 소셜 미디어 트렌드는 무해한 재미처럼 느껴졌을지 모르지만, 이러한 이미지를 만드는 데 사용된 AI 도구는 모기업(parent companies)이 광고 목적으로 사용하고 잠재적으로 제3자에게 판매할 수 있는 사람들에 대한 사진과 정보를 수집할 수 있었습니다. 이는 Big Tech가 일시적인 트렌드에 참여하는 대가로 귀하의 개인 데이터를 조용히 섭취하는 많은 예 중 두 가지에 불과합니다.

LLM을 위한 더 나은 솔루션이 있습니다

이 모든 위험에 대해 읽음(reading) 후에는 LLM이 본질적으로 위험하다고 생각할 수 있습니다. 하지만 전혀 그렇지 않습니다. Big Tech 기업들은 의도적으로 AI 시스템을 침해적이고 데이터를 갈망하도록 구축했습니다. 사람들의 개인정보(privacy)를 보호하고 기본(default)적으로 데이터를 안전하게 유지하는 AI를 구축하는 것은 가능합니다. 우리는 개인정보를 우선시하는 AI 어시스턴트(새 창)인 Lumo로 이를 해냈기 때문에 알고 있습니다.

Lumo가 진정한 AI 정렬 문제를 해결하는 방법은 다음과 같습니다:

  • Lumo는 대화(conversations) 로그(logs)를 보관하지 않습니다. 모델이 쿼리와 응답 처리를 완료하는 즉시 모든 채팅은 서버(servers)에서 삭제(deleted)됩니다.
  • 채팅 기록은 제로 액세스 암호화(encryption)로 저장됨(stored)니다. 비밀 키로 데이터를 잠그면 Proton은 절대 접근(access)할 수 없으므로 데이터를 공유(share)하거나 실수로 유출(leak)할 수 없습니다.
  • 우리는 귀하의 채팅으로 모델을 훈련하지 않습니다. 대화(conversations)를 사용하여 AI 모델을 훈련하면 데이터가 향후 결과물에 다시 나타날 위험이 있습니다. Lumo와의 대화는 귀하만의 것입니다.
  • Lumo는 오픈 소스(open source)이며 오픈 소스 모델만 사용합니다. 코드(code) 베이스가 공개되어 있으므로 누구나 앱(apps)이 우리가 주장하는 대로 정확하게 작동하는지 확인할 수 있습니다.
  • 우리는 개인정보(privacy)를 존중하는 관할 구역에 기반을 두고 있습니다. 침해적인 감시법의 적용을 받는(subject) 미국 기반의 Big Tech AI와 달리, Lumo는 유럽에 기반을 두고 있으며 강력한 개인정보 보호법의 보호를 받습니다.

모든 수준에서 Lumo는 위험한 외부 효과 없이 다른 LLM과 동일한 효용을 제공하도록 설계되었습니다. Big Tech도 같은 방식으로 AI를 구축할 수 있었습니다. 그들은 단지 귀하의 데이터가 그들의 통화(currency)이기 때문에 그렇게 하지 않기로 선택한 것입니다.

AI 정렬은 정말 위협적인가?

진실은 Big Tech CEO들이 우리에게 믿게 하려는 것보다 덜 흥미롭습니다. AI가 사람들이 생물 무기를 만들거나 클립을 만드는 데 전 세계 자원을 소비하도록 할 가능성은 Big Tech가 이미 따르고 있는 지시, 즉 개인(private) 데이터를 훔치고 착취하는 것을 따를 가능성보다 적어 보입니다.

AI 정렬에 대한 과대광고를 믿지 마십시오. 우리 중 누구도 집중해야 할 위협이 아닙니다. 감시, 개인 및 소규모 기업 착취, 유출(compromised)된 정보 생태계가 AI와 관련하여 우리가 실제로 주의를 기울여야 할 시급한 문제입니다.