속고 또 속아왔던 VR의 역사
by 김상훈
VR이 유행입니다. 수많은 기업들이 이 기계를 대중화하겠다고 선언합니다. 하지만 대중이 바라보는 VR은 그저 한가지 모습일 따름입니다. 눈 앞에 우스꽝스러운 고글 같은 기계를 달고 멍하니 입을 벌리고 있는 사람들의 모습이죠. 도대체 이 사람들은 저 눈을 덮어버리는 안경 너머에서 무슨 일을 겪고 있는 것일까요. 한 가지는 분명합니다. 기술의 발전 덕분에 오늘날의 기술은 VR을 체험하는 사람들을 말 그대로 다른 세계로 인도합니다. 하지만 수많은 몰입 체험이 그렇듯 VR 또한 직접 겪어보기 전에는 제대로 이해하기 힘듭니다. 이는 마치 인도의 신비주의 수도승들이 겪고 있는 황홀의 경지를 함께 겪어보지 못한 우리가 인도 수도승을 바라볼 때 느끼는 몰이해의 감정과 비슷합니다.
직접 겪어야 이해할 수 있다는 점, 이것이 VR의 보급을 더디게 한 첫 장벽이었습니다. 하지만 이는 또한 막상 겪어보면 사람들을 놀라움의 세계로 끌어들일 수 있는 가장 큰 매력이기도 합니다. 그리고 수많은 사람들이 오늘도 종교적 황홀경에 빠지는 것 또한 이런 이유 탓일 것입니다. 길에서 자꾸 도를 믿으라는 사람들이 다가오는 것도 이런 이유 탓이겠죠.
이런 매력의 근거는 뭘까요. 바로 속임수입니다. 역사적으로 VR은 우리의 인식과 감각을 속이는 데서 그 기원을 시작했습니다. 보는 것과 듣는 것, 만지고 냄새맡는 것까지 속이는 이 놀라운 기술의 비결은 사실 단순합니다. 우리가 그만큼 멍청하기 때문입니다. 정확히는 우리의 감각이 멍청하기 때문이죠.
VR의 시작
사실 VR의 역사는 생각보다 깁니다. 개념이 만들어지고 용어가 등장한 시대까지 따져올라가려면 100년도 넘는 역사 여행을 해야할지도 모릅니다. 그러니, 오늘날의 VR 기기들과 비슷한 첫 기계부터 찾아가 보겠습니다. 시작은 ‘센소라마’(Sensorama)라는 기계였습니다. 모튼 헤일리그라는 발명가의 작품이었죠.
헤일리그는 단순한 발명가가 아니었습니다. 그는 철학자이자 영화감독이었습니다. 어쩌면 헤일리그는 '20세기의 르네상스맨'을 꿈꿨던 전쟁 이후 시대의 천재였는지도 모릅니다. 그가 1957년 만든 센소라마는 얼굴을 기계에 파묻은 채 시야를 꽉 채우는 영상과 얼굴을 스치는 바람과 향기, 손으로 느껴지는 촉각까지 제공하는 기계였습니다. 실제로 센소라마의 메인 컨텐츠였던 "뉴욕시 브루클린 지역을 오토바이로 달리는 체험"은 이 기계를 한 번이라도 써 본 사람에게 예외없는 놀라움을 선사했습니다. 컬러화면도 아니고, 실제 바람과 냄새와는 동떨어진 간단한 자극만 주는 기계였지만 현실감 있는 사운드와 그럴싸한 느낌만으로도 우리의 둔한 감각은 쉽게 가짜 현실을 진짜로 받아들인 것이죠.
문제는 비용이었습니다. 센소라마 기계는 탁월했지만, 제작비가 비쌌습니다. 반면 이 기계를 동시에 즐길 수 있는 사람의 숫자는 단 한명이었죠. 당시의 극장과 비교해 훨씬 몰입도 높은 경험을 주는 ‘미래의 영화관’을 만들고자 했던 헤일리였지만, 가격 문제를 풀지 못하고는 상업성도 얻을 수 없었습니다. 센소라마는 오늘날까지도 작동 가능한 원형이 남아 헤일리의 업적을 후대에 전하고 있지만, 실제로 VR이 제대로 활용되기 시작한 것은 다른 분야에서였습니다. 바로 항공기 조종사 양성이었죠.
예나 지금이나 비행을 위한 파일럿을 양성하는 비용은 천문학적입니다. 특히 비행기는 초보운전으로 인한 사고의 피해가 자동차보다 훨씬 치명적입니다. 무엇보다 기계를 부쉈을 때 드는 복구 비용도 만만치 않습니다. 그래서 1950년대부터는 이런 이유로 컴퓨터 스크린을 활용한 비행 시뮬레이터가 등장하기 시작합니다. 1966년, 미국 공군이 이 시뮬레이터를 받아들이면서 비행 시뮬레이터 시장은 실험 단계를 넘어 폭발적인 성장에 들어갑니다. 그리고 VR 관련 연구 또한 활발해지게 되죠.
1968년 이런 영향으로 처음으로 머리에 쓰는 디스플레이(Head-Mounted Display, HMD)가 유타 대학 컴퓨터그래픽 교수였던 이반 서덜랜드와 밥 스프로울에 의해 개발됩니다. 두 사람은 3차원(3D) 입체 컴퓨터그래픽을 연구하고 있었는데, 고개를 돌리면서 3차원의 공간을 살펴볼 수 있는 기계를 제작했던 겁니다. 이때의 VR 기기는 오늘날의 삼성 기어VR 같은 매끈한 기계와는 차원이 달랐습니다. 너무 무거워서 헬멧처럼 썼다가는 목이 부러질 지경이었기에 천정에 끈으로 매달 정도였거든요. 이 당시 이반 서덜랜드 교수의 제자로는 객체지향프로그래밍 등 컴퓨터 분야의 주요 공로자로 꼽히는 앨런 케이, 오늘날 세계를 주름잡는 디즈니-픽사 애니메이션의 창업자 에드윈 캣멀 등이 있었습니다. 그러니까 세계 최고의 컴퓨터 그래픽 연구집단이 VR의 초기 역사에 달라붙어 있었던 셈입니다.
VR, 대중속으로
이후 VR의 발전은 기술의 문제가 아니었습니다. 가격과의 전쟁이었죠. 사실 몇 가지 중요한 기술, 즉 3차원 컴퓨터 그래픽과 빠른 처리속도를 가진 컴퓨터, 컬러 디스플레이와 실감나는 사운드를 합성하는 디지털 음향장치 등은 이미 1970년대에 들어와 이론과 시제품 개발이 끝난 상태였으니까요. 문제는 얼마나 값싸게 좋은 품질로 이런 기술을 이용한 기계를 생산할 수 있느냐였습니다.
여러 선구자들이 이 경쟁에 뛰어들었습니다. 1980년에는 아타리가 3D 컴퓨터 그래픽을 차용해 가상현실 게임을 내놓았고 이후 계속해서 VR의 개념을 구현할 게임 개발에 열을 올립니다. 1980년대 중반부터는 아타리 출신의 재론 레이니어가 처음으로 VR, 즉 가상현실이라는 개념을 대중화합니다. 그는 손에 끼는 장갑과 오디오/비디오 입출력장치 등을 만들어 실감나는 VR을 보급하려 했지만 결국 이 또한 대중화에는 실패합니다. 게다가 1990년대 중반에 이르면 거대한 파도가 몰려옵니다. VR 따위는 아득히 잊게 만들 거대한 물결이었죠. 바로 인터넷의 보급이었습니다.
그럼에도 불구하고, 여전히 모험적인 회사 일부가 계속해서 VR 사업에 나섰습니다. 역시 이런 종류의 투자에는 게임회사가 가장 앞장을 섭니다. 그중에서도 세가가 열심이었습니다. 세가는 1990년대 초반부터 여러 종류의 VR 기기와 관련 게임을 만들어냈는데, 그럼에도 불구하고 값을 충분히 낮추는 동시에 게임의 질을 높이는 데에는 여전히 실패하고 있었습니다. 닌텐도도 비슷한 기술에 도전했습니다. 하지만 별 수 없이 고배를 들었습니다. 이외에도 당시 개발된 ’케이브’(CAVE)라는 시스템은 요즘 CGV 극장에 가면 볼 수 있는 'Screen X'처럼 극장의 3면(270도)을 화면으로 감싸 가상현실의 분위기를 냈습니다. 하지만, 역시 대중화에는 실패했습니다. 스티브 잡스를 쫓아낸 뒤 어려움을 겪고 있던 애플도 당시 새 돌파구를 VR에서 찾아보려 했습니다. 다양한 VR 기기들이 나오고 있다는 판단하에 애플의 동영상 포맷인 퀵타임으로 VR을 재생할 수 있도록 퀵타임VR이란 기술을 개발한 것이죠. 하지만 이런 노력은 모조리 수포로 돌아갑니다. 여전히 관련 기술의 값이 너무 비쌌기 때문입니다.
변화는 오랜 시간이 지난 2010년 갑자기 등장합니다. 파머 럭키라는 젊은 청년이 개발한 ‘오큘러스 리프트’라는 기계 때문이었습니다. VR 분야에 켜켜이 쌓인 오랜 상업화 실패의 트라우마는 대기업들이 이 시장에서 눈을 돌리게 만들었습니다. 그와 동시에 컴퓨터의 가격은 바닥을 모르고 내려갔습니다. 3차원 컴퓨터 그래픽은 이제 실제보다 더 실감나는 애니메이션을 만들기 시작했으며, 디지털 사운드는 고등학생도 가상의 밴드를 구성해 오케스트라 연주를 하게끔 만들어 줬습니다. 즉, 시기가 무르익었는데 이 시장을 누구도 보지 않고 있었던 것입니다. 파머 럭키는 이 틈을 기가 막히게 찔렀습니다. 시대가 그를 호출했다고 해야 할까요.
어쨌든 거의 10년여 만에 다시 등장한 ‘제대로 된’ VR 기기는 갑자기 대기업들로 하여금 이 분야의 사업성을 다시 계산하게 만드는 기폭제가 됐습니다. 페이스북은 오큘러스리프트를 천문학적인 금액인 20억 달러(약 2조 원)에 인수했고, 그 뒤로 삼성과 구글을 위시한 ICT 분야의 거인들이 앞다퉈 이 시장에 뛰어들었습니다. 이제 가격은 더이상 문제가 아니었습니다. 구글은 아예 골판지로 만든 VR기기인 ‘구글 카드보드’를 선보였으니까요. 물론 중국 업체들은 그 아이디어를 재빨리 상업화해 단돈 1만원 내외의 VR기기를 경쟁적으로 제작하기 시작했습니다. 이제 VR 기기는 모두의 손에 들어갔습니다. 핵심 부품이 우리 손에 들린 스마트폰이기 때문입니다. 어느새 우리 모두는 항공사나 보유하고 있던 수십억 원 대의 비행 시뮬레이터를 능가하는 슈퍼 컴퓨터를 주머니에 넣고 다니고 있던 겁니다.
VR, 우리를 속이다
정리하자면 VR의 발달 과정은 인간의 감각을 속일 수 있는 기술 발달의 역사입니다. 먼저 우리가 가장 큰 지배를 받는 시각을 속이기 위한 컴퓨터 그래픽 기술이 중요했습니다. 초기 VR의 역사에서 컴퓨터 그래픽 엔지니어들이 중요한 역할을 한 것은 이런 이유 때문이었습니다. 시각은 단순히 현실을 그대로 보여주는 모습에 속지 않습니다. 그림이나 거울은 우리를 속이지 못하죠. 다만 우리의 시각은 움직임에 취약해서 현실처럼 사물이 반응을 보이면 속기 시작합니다. 비행에 따른 화면 변화가 상대적으로 천천히 이뤄지는 비행 시뮬레이터에서 VR 기술이 처음 꽃을 피운 것도 이런 이유 덕분이었습니다. 비행 시뮬레이터 정도로 대충 윤곽만 있는 배경을 움직여도 우리의 감각은 "실제를 흉내낸 움직임"을 실제처럼 인식합니다. 아마도 어두운 수풀 속에서 숨죽여 뛰어나오는 맹수를 빠르게 인식하기 위한 생존본능 탓인지 모릅니다.
그런데 지금은 주머니 속에 모든 사람들이 슈퍼컴퓨터를 들고 다니는 시대입니다. 이제 시각은 거의 기술에 점령됐습니다. 손바닥만한 화면으로 예전에는 수십인치 대 스크린에서나 구현되던 4K 초고화질 영상을 재생하는 오늘날의 스마트폰에 우리 눈은 더이상 속지 않고 배길 수가 없습니다.
두번째로 속여야 하는 감각은 청각입니다. 전후좌우상하 각 방면에서 접근하는 음향만 제대로 속일 수 있다면 시각 정보가 다소 부족하더라도 우리는 공감각적으로 바싹 긴장합니다. 뒤에서 다가오는 포식자나 적으로부터 몸을 보호하면서 수만 년을 진화해 온 DNA가 "보지 못한 정보일지라도 제대로 들리고만 있다면" 강한 경고 신호를 보내기 때문입니다.
세번째 감각은 촉각입니다. 실제로 만질 수 있는 가상 현실이라는 것은 그 자체로 또 하나의 현실을 구현합니다. 우리가 실재보다 더 실재같은 꿈을 꾸면서도 그것이 꿈이라고 느낄 수 있는 것은 꿈을 만질 수 없기 때문입니다. “볼을 꼬집어 봐”라는 관용구의 존재가 바로 이런 것이죠. 하지만 VR 연구자들은 이미 오래전부터 가상의 촉각을 만들어내는 연구를 해왔습니다. 그리고 오늘날의 발전된 로봇 기술은 이 촉각을 상당히 구체적으로 구현해 내고 있습니다.
곧 VR은 현실 그 자체가 될지도 모르겠습니다. 미각과 후각까지 속일 수 있게 된다면 우리는 더 이상 현실에서 밥을 먹고 에너지를 공급받아야 한다는 의지마저 잊어버리게 될지도 모릅니다. 이미 후각을 좌우하는 분자구조를 합성해 냄새를 재현해주는 기계들이 하나둘 개발되고 있습니다. 영국의 디자이너 에이미 래드클리프가 2013년 만든 향기 분석 및 재현 카메라 ‘매들린’은 이런 꿈을 현실로 만들어 줍니다. 기술적으로는 대단한 것이 아니었습니다. 향수 제조사들이 하듯, 향기 샘플을 채취해 분석 후 시료로 만드는 과정을 카메라가 사진을 찍듯이 자동화했을 뿐입니다. 하지만 결과는 놀라웠습니다. 후각은 우리에게 추억과 감성을 일깨워주는 감각이었는데 추억과 감성까지 조작되는 시대가 열린 겁니다. 그러니, 이제 영화 ‘매트릭스’의 세계처럼, 기계가 공급해주는 에너지원을 받아 생활하면서 평생 꿈만 꾸는 가상현실의 노예가 되는 것도 멀지 않은 일이 아닐까 싶습니다.