‘갤럭시 XR’의 패스스루(Passthrough) 기술 심층 분석
애플(Apple)이 ‘비전 프로(Vision Pro)’를 공개하며 ‘공간 컴퓨팅’이라는 새로운 패러다임을 제시했습니다. 이에 맞서 삼성전자 역시 구글(Google), 퀄컴(Qualcomm)과의 연합을 통해 차세대 XR(eXtended Reality, 확장 현실) 기기, ‘갤럭시 XR’의 출시를 준비하고 있습니다. 이 새로운 기기의 성패를 좌우할 핵심 기술 중 하나가 바로 ‘패스스루(Passthrough)’입니다.
패스스루 기술은 사용자가 헤드셋을 착용한 상태에서도 외부 환경을 선명하게 볼 수 있도록 하는, 가상 현실(VR)과 증강 현실(AR)의 경계를 허무는 혼합 현실(MR, Mixed Reality)의 핵심입니다. 본 포스트에서는 ‘갤럭시 XR’에 탑재될 것으로 예상되는 패스스루 기술의 원리와 중요성, 그리고 예상되는 기술적 특징들을 심층적으로 분석하고자 합니다.
패스스루(Passthrough)란 무엇인가?
패스스루 기술을 이해하기 위해서는 먼저 VR, AR, MR의 개념을 명확히 해야 합니다.
- 가상 현실(VR, Virtual Reality): 사용자의 시야를 완전히 차단하고 100% 디지털로 구성된 가상 세계를 보여주는 기술입니다.
- 증강 현실(AR, Augmented Reality): 투명한 안경이나 디스플레이를 통해 현실 세계를 직접 보면서, 그 위에 디지털 정보를 겹쳐 보여주는 기술입니다.
- 혼합 현실(MR, Mixed Reality): 패스스루는 이 MR을 구현하는 핵심 방식입니다. VR 헤드셋처럼 시야를 완전히 차단하지만, 기기 외부에 장착된 고성능 카메라가 현실 세계를 실시간으로 촬영합니다. 그리고 이 영상을 헤드셋 내부의 디스플레이로 전송하여, 사용자가 마치 투명한 안경을 쓴 것처럼 외부를 볼 수 있게 합니다.
핵심은 단순히 외부를 ‘보는’ 것을 넘어, 이 실시간 현실 영상 위에 디지털 그래픽을 자연스럽게 합성하는 데 있습니다. 사용자는 현실의 거실에 가상의 물체를 배치하거나, 현실의 벽에 가상의 스크린을 띄울 수 있습니다. 이질감 없이 현실과 가상이 융합되어야 하므로 패스스루의 품질이 MR 경험 전체의 질을 결정합니다.
갤럭시 XR에 요구되는 패스스루 기술의 핵심 요소
삼성의 갤럭시 XR이 애플 비전 프로나 메타(Meta)의 퀘스트 3(Quest 3)와 경쟁하거나 이를 능가하기 위해서는 다음 세 가지 패스스루 기술 요소가 필수적으로 요구됩니다.
1. 초고해상도 컬러 구현 (High-Fidelity Color)
과거의 VR 기기들은 패스스루를 지원하더라도 흑백이거나, 해상도가 낮아 외부 환경을 식별하는 용도로만 사용되었습니다. 그러나 MR을 위해서는 현실 세계가 왜곡이나 이질감 없이, 있는 그대로 선명하게 보여야 합니다.
갤럭시 XR은 삼성의 강점인 고성능 이미지 센서(ISOCELL 등) 기술을 활용할 것으로 예상됩니다. 사용자가 헤드셋을 썼을 때, 마치 맨눈으로 보는 듯한 선명한 컬러와 높은 다이나믹 레인지(HDR)를 구현해야 합니다. 특히 어두운 실내 환경에서도 노이즈가 적고 색 재현율이 높은 영상을 제공하는 것이 관건입니다. 애플 비전 프로가 이 부분에서 높은 기준을 제시했기 때문에, 갤럭시 XR 역시 4K 이상의 고해상도 RGB 카메라 여러 대를 탑재하여 현실감을 극대화할 것입니다.
2. 지연 시간(Latency) 최소화 (Near-Zero Latency)
패스스루 기술의 가장 큰 난제는 ‘지연 시간’입니다. 카메라가 현실을 포착하고, 이를 처리하여 디스플레이에 띄우기까지 걸리는 시간이 존재합니다. 이 시간이 길어지면(일반적으로 20밀리초 이상), 사용자가 머리를 움직이는 속도와 화면이 따라오는 속도가 달라져 극심한 멀미(Motion Sickness)를 유발합니다.
애플은 이를 해결하기 위해 ‘R1’이라는 전용 보조 프로세서를 탑재했습니다. 삼성 역시 메인 AP(퀄컴 스냅드래곤 XR 칩셋 예상)와는 별개로, 카메라와 센서 데이터 처리를 전담하는 고속 보조 프로세서를 탑재할 가능성이 높습니다. 이 칩은 여러 대의 카메라와 센서(LiDAR 또는 ToF)에서 들어오는 방대한 양의 데이터를 실시간으로 처리하여, ‘포톤-투-포톤(Photon-to-Photon)’ 지연 시간을 12밀리초 이하로 줄이는 것을 목표로 할 것입니다. 이는 사용자가 거의 인지할 수 없는 수준의 지연입니다.
3. 정확한 3D 공간 인식 및 심도 표현 (Depth and Spatial Mapping)
진정한 혼합 현실은 디지털 객체가 현실 공간과 상호작용해야 함을 의미합니다. 예를 들어, 가상의 공이 현실의 책상 위에서 굴러가다가 책상 모서리에서 떨어져야 하며, 사용자가 현실의 손으로 가상의 버튼을 눌러야 합니다.
이를 위해 갤럭시 XR은 RGB 카메라뿐만 아니라 LiDAR(라이다) 스캐너 또는 ToF(Time-of-Flight) 심도 센서를 탑재할 것입니다. 이 센서들은 실시간으로 주변 환경을 3D로 스캔하여 공간의 구조(벽, 바닥, 가구 등)와 심도(거리)를 정확하게 파악합니다.
이 3D 맵(Map)을 기반으로 패스스루 영상은 단순한 2D 비디오 피드가 아닌, 입체감이 있는 3D 공간으로 재구성됩니다. 따라서 사용자는 가상의 캐릭터가 현실의 소파 뒤에 숨는 것(Occlusion, 차폐)을 자연스럽게 볼 수 있으며, 이는 몰입감을 극대화하는 핵심 요소입니다.
디스플레이와 센서 기술의 융합
갤럭시 XR의 패스스루 기술이 기대되는 이유는 삼성이 이 분야의 핵심 부품인 카메라 센서와 디스플레이 모두에서 세계 최고 수준의 기술력을 보유하고 있기 때문입니다.
- 초고화소 디스플레이 (OLEDos/LEDoS): 패스스루로 입력된 현실 영상과 디지털 그래픽은 결국 내부 디스플레이를 통해 보게 됩니다. 삼성디스플레이는 ‘OLEDos(OLED on Silicon)’ 또는 차세대 ‘LEDoS(LED on Silicon)’와 같은 마이크로 디스플레이 기술을 개발 중입니다. 이는 인치당 픽셀 수(PPI)가 3,000~4,000PPI에 달하는 초고밀도 디스플레이로, 픽셀이 보이지 않는 ‘스크린 도어 이펙트(Screen Door Effect)’를 완벽하게 제거하고 패스스루 영상의 현실감을 극대화할 수 있습니다.
- 이미지 센서 기술: 삼성전자의 시스템 LSI 사업부는 모바일용 ISOCELL 이미지 센서 시장의 강자입니다. XR 기기용 패스스루 카메라는 저조도 성능, 빠른 처리 속도, 높은 다이나믹 레인지가 동시에 요구되는 고난도 기술입니다. 삼성은 이 분야에서 축적된 노하우를 갤럭시 XR에 집약하여 경쟁사 대비 우위의 시각적 품질을 제공할 잠재력이 큽니다.
패스스루가 갤럭시 XR의 미래를 결정한다
‘갤럭시 XR’은 단순한 VR 기기가 아닌, 삼성의 ‘공간 컴퓨팅’ 비전을 실현할 첫 번째 주자입니다. 이 기기의 성공은 사용자가 얼마나 이질감 없이 현실과 가상을 넘나들 수 있느냐에 달려있으며, 그 중심에는 ‘패스스루’ 기술이 있습니다.
결국 갤럭시 XR의 패스스루는 ‘얼마나 선명하게(해상도)’, ‘얼마나 빠르게(지연 시간)’, ‘얼마나 정확하게(공간 인식)’ 현실을 복제하고 그 위에 가치를 더하느냐의 싸움이 될 것입니다. 삼성이 보유한 반도체, 디스플레이, 센서 기술력이 구글의 소프트웨어와 시너지를 이룬다면, 애플 비전 프로를 뛰어넘는 새로운 차원의 혼합 현실 경험을 제공할 수 있을 것으로 기대됩니다.