스마트 안경은 단순한 소비자용 기기처럼 보일 수 있습니다. 얼굴에 쓴 카메라, 귀에 있는 스피커, 그리고 보이는 것에 대해 질문에 답하는 AI 어시스턴트까지 갖췄습니다. 하지만 같은 기기가 AI 시스템에 늘 부족했던 무언가를 줄 수 있습니다. 바로 일상적인 인간 삶을 1인칭 시점으로 보여 주는 것입니다.

이는 중요한데, AI에게 글을 쓰거나 이미지를 생성하는 법을 가르치는 것과 기계에게 물리적 세계를 움직이며 다니는 법을 가르치는 것은 매우 다르기 때문입니다. 로봇은 물체가 어디에 있는지, 물체가 움직일 때 무슨 일이 일어나는지, 그리고 손이 휘거나 깨지거나 쏟아지거나 모양이 변하는 물건과 어떻게 상호작용하는지 이해해야 합니다.

Meta는 이런 종류의 정보를 수집하는 웨어러블 기기를 수년간 연구해 왔습니다. 레이밴 메타 안경은 그 기술 일부를 소비자 제품에 담아, 회사가 일상적인 활동 중 생성되는 데이터에 접근할 수 있게 했습니다.

안경을 72시간 동안 테스트하며 하루 종일 AI 기능을 사용하고 관련 데이터를 요청한 결과, 1인칭 녹화가 왜 AI 훈련에 유용할 수 있는지, 그리고 왜 개인정보를 기술 자체와 분리하기가 점점 더 어려워지는지 엿볼 수 있었습니다.

AI가 현실 세계에서 학습하는 방식

대규모 언어 모델은 방대한 양의 문서 모음에서 학습합니다. 이는 언어를 기반으로 만들어진 시스템에는 효과적이지만, 텍스트만으로는 사람이 부엌을 지나가거나 병을 집어 들거나 달걀을 깨거나 열쇠를 찾는 일을 어떻게 하는지 온전히 설명할 수 없습니다.

인간은 수년간의 감각적 경험을 통해 이런 것들을 배웁니다. 메타의 전 최고 AI 과학자 얀 르쿤은 네 살이 되면 아이가 가장 큰 언어 모델보다 50배 많은 데이터를 본다고 주장했습니다. 그의 요점은 기계가 물리적 세계를 이해하려면 더 풍부한 감각 입력이 필요하다는 것입니다.

로봇의 경우 이는 지시만으로 배우는 것이 아니라 그 이상을 의미합니다. 로봇에게는 말로 설명하기 어려운 작은 차이까지 포함해 사람이 실제로 무엇을 하는지에 대한 데이터가 필요합니다. 예를 들어 누군가 설거지를 하는 모습은 평범해 보일 수 있습니다. 하지만 그 영상에 라벨을 붙이고 주석을 달면, 물체가 어디에 있는지, 손이 어떻게 움직이는지, 예상치 못한 일이 생기면 무슨 일이 일어나는지를 AI 시스템에 보여 줄 수 있습니다.

이런 종류의 훈련 데이터는 대규모로 수집하기 어렵습니다. 웨어러블 카메라는 작업을 수행하는 사람과 같은 시점에서 세상을 담을 수 있기 때문에 하나의 해결책이 될 수 있습니다. 르쿤의 주장대로 “눈이 필요하다”는 것입니다.

메타가 스마트 안경을 활용하는 이유

메타는 안경 형태의 웨어러블 컴퓨터를 중심으로 한 연구 프로그램인 프로젝트 아리아(새 창)를 통해 수년간 이 문제를 연구해 왔습니다. 연구용 기기는 카메라와 다양한 센서를 사용해 사람이 세상과 상호작용하는 방식을 연구합니다.

프로젝트 아리아는 연구와 소비자 사용 사이에 개인정보에 대한 기대가 얼마나 다를 수 있는지도 보여 줍니다. 메타가 공개한 지침에 따르면 연구 참가자는 적절한 녹화 관행에 대한 교육을 받고, 개인 주택에 있는 사람은 동의해야 하며, 오디오와 영상이 수집될 때는 눈에 보이는 표시등이 켜집니다.

소비자용 스마트 안경은 훨씬 덜 통제된 환경에서 작동합니다. 사람은 거리를 걸으면서, 쇼핑하면서, 커피를 내리면서, 집안일을 하면서 안경을 착용할 수 있습니다. 이는 유용한 1인칭 데이터 원천을 만들어 냅니다. 또한 착용자 주변 사람들이 카메라가 작동 중인지 모르는 채 녹화물에 등장할 수 있다는 뜻이기도 합니다.

이 구분이 중요한 이유는 이 데이터의 가치가 일상적이라는 데서 나오기 때문입니다. 그 가치는 일상의 작은 세부사항을 담아낸다는 데 있습니다.

로봇이 배워야 할 것

연구자들은 인간에게는 단순해 보이지만 기계에는 어려운 여러 문제를 연구하고 있습니다. 하나는 일화 기억입니다. AI에게 열쇠를 어디에 두었는지 묻는 것은 쉬워 보이지만, 시스템은 물체를 인식하고, 마지막으로 본 시점을 파악하고, 그때부터 지금까지 무슨 일이 있었는지 추적해야 합니다.

또 다른 하나는 직관적 물리학입니다. 공을 탁자 쪽으로 굴리면 어떤 일이 일어날지 이미 예상할 수 있습니다. 인간은 수년간 물리적 세계를 관찰하며 이런 예측을 발달시킵니다.

세 번째는 손과 물체의 상호작용입니다. 신발 끈을 묶고, 셔츠 단추를 채우고, 무언가를 집어 들고, 천 조각을 다루는 일은 모두 기계가 휘고 변형될 수 있는 물체를 다뤄야 함을 뜻합니다. 1인칭 녹화가 담아낼 수 있는 것이 바로 이런 상황입니다.

72시간 테스트 동안 일상적인 활동은 이 연구 문제들과 놀랄 만큼 잘 맞아떨어졌습니다. 운전은 물체가 공간을 어떻게 이동하는지 예측하는 일이었습니다. 병을 집어 들거나 달걀을 깨는 일은 손과 물체의 상호작용이었습니다. 달걀이 조리대에서 굴러떨어지는 것을 보는 일은 직관적 물리학이었습니다. 열쇠를 어디에 두었는지 묻는 일은 일화 기억 과제였습니다.

요점은 모든 평범한 녹화물이 곧바로 유용한 훈련 데이터가 된다는 것이 아닙니다. 일상적인 인간 활동 안에 임바디드 AI에 필요한 사례가 담겨 있다는 것입니다.

메타 안경이 담아낼 수 있는 것

메타는 레이밴 메타 안경이 AI 훈련을 위해 착용자 주변의 모든 것을 지속적으로 녹화하지는 않는다고 밝힙니다. 회사에 따르면 AI 훈련에 사용되고 사람이 검토할 가능성이 있는 데이터에는 사용자가 AI에게 무언가를 요청할 때 포착된 음성 명령과 영상이 포함됩니다.

AI가 카메라에 보이는 것을 분석해야 할 때, 관련 영상은 처리를 위해 메타 서버로 전송될 수 있습니다. 그러면 회사는 그 정보를 AI 시스템 개선에 활용할 수 있습니다. 사용자는 안경에게 물체, 장소, 작업, 또는 눈앞에서 벌어지는 일에 대해 물어볼 수 있고, 그 상호작용은 1인칭 시점의 기록으로 남습니다.

메타는 평소처럼 호출 문구를 말하지 않아도 어시스턴트를 사용할 수 있는 라이브 AI도 선보였습니다. 이는 안경을 실시간 어시스턴트로 더 유용하게 만들어 주는 동시에, 카메라와 마이크가 작동할 수 있는 시간을 늘려 줍니다.

설정만으로 해결하기 어려운 또 다른 개인정보 문제가 있습니다. 착용자는 기기를 통제하지만, 주변 사람들은 그렇지 않습니다. 테스트 중 검토된 자료에서는 얼굴이 흐리게 처리되었지만, 착용자 주변 사람들은 자신이 녹화되고 있다는 사실을 알지 못했습니다. 이는 참가자와 특정 개인 환경에 있는 사람에게 명시적 동의 요건이 적용되는 메타의 프로젝트 아리아 연구 과정과는 다릅니다.

메타의 로봇 계획을 시사하는 정황

메타가 웨어러블 데이터를 로봇 개발에 활용할 수 있다는 생각은 안경만으로 입증되는 사실이 아니라 회사의 더 큰 전략에 관한 가설일 뿐입니다. 그러나 이를 뒷받침하는 여러 정황이 있습니다.

2025년 2월, 메타는 스마트 안경을 담당하는 같은 상위 조직인 리얼리티 랩스 안에 휴머노이드 로봇 사업부를 신설했습니다. 2026년 5월에는 러렐 핀투가 공동 창업한 로봇 연구소인 어슈어드 로봇 인텔리전스를 인수했습니다.

메타는 자사 기술이 휴머노이드 로봇의 소프트웨어 계층 역할을 하기를 원한다고 밝히기도 했습니다. 메타의 연구는 이미 1인칭 시점 녹화가 로봇이 물리적 작업을 배우는 데 어떻게 도움이 되는지 탐구해 왔습니다. 그래서 안경은 AI 어시스턴트라는 역할을 넘어 의미를 갖습니다. 안경은 사람이 하루 종일 착용할 수 있는 기기에 카메라와 마이크, AI를 담았습니다.

메타의 차세대 웨어러블 프로토타입은 더 지속적인 센싱과 더 강력한 물체 추적을 지향하는 것으로 설명됩니다. 이런 기능은 사람이 물리적 세계와 상호작용하는 방식에 관한 더 유용한 데이터를 만들어 낼 수 있습니다.

이 모든 것이 메타가 로봇 군단을 만들기 위해 고객의 삶의 모든 순간을 몰래 수집하고 있다는 증거는 아닙니다. 다만 AI와 로봇 모두에 크게 투자하는 회사에 1인칭 웨어러블 데이터가 왜 전략적으로 가치 있을 수 있는지는 보여 줍니다.

더 큰 질문

스마트 안경은 AI에 우리 주변 세계로의 접근을 제공하기 때문에 AI를 더 유용하게 만듭니다. 바로 그 능력이 스마트 안경을 대부분 사람이 익숙한 AI 어시스턴트와 다르게 만듭니다. 문제는 점점 더 개인적인 이 데이터 원천이 어떻게 수집되고 처리되고 사용될지를 누가 결정하느냐입니다.

AI가 화면에서 물리적 세계로 이동하면서 1인칭 데이터는 더 가치 있게 됩니다.

그래서 기기가 무엇을 보고, 듣고, 저장하고, 외부로 전송하는지 이해하는 일이 점점 더 중요해집니다.