속고 또 속아왔던 VR의 역사

VR이 유행입니다. 수많은 기업들이 이 기계를 대중화하겠다고 선언합니다. 하지만 대중이 바라보는 VR은 그저 한가지 모습일 따름입니다. 눈 앞에 우스꽝스러운 고글 같은 기계를 달고 멍하니 입을 벌리고 있는 사람들의 모습이죠. 도대체 이 사람들은 저 눈을 덮어버리는 안경 너머에서 무슨 일을 겪고 있는 것일까요. 한 가지는 분명합니다. 기술의 발전 덕분에 오늘날의 기술은 VR을 체험하는 사람들을 말 그대로 다른 세계로 인도합니다. 하지만 수많은 몰입 체험이 그렇듯 VR 또한 직접 겪어보기 전에는 제대로 이해하기 힘듭니다. 이는 마치 인도의 신비주의 수도승들이 겪고 있는 황홀의 경지를 함께 겪어보지 못한 우리가 인도 수도승을 바라볼 때 느끼는 몰이해의 감정과 비슷합니다.

 

직접 겪어야 이해할 수 있다는 점, 이것이 VR의 보급을 더디게 한 첫 장벽이었습니다. 하지만 이는 또한 막상 겪어보면 사람들을 놀라움의 세계로 끌어들일 수 있는 가장 큰 매력이기도 합니다. 그리고 수많은 사람들이 오늘도 종교적 황홀경에 빠지는 것 또한 이런 이유 탓일 것입니다. 길에서 자꾸 도를 믿으라는 사람들이 다가오는 것도 이런 이유 탓이겠죠.

이런 매력의 근거는 뭘까요. 바로 속임수입니다. 역사적으로 VR은 우리의 인식과 감각을 속이는 데서 그 기원을 시작했습니다. 보는 것과 듣는 것, 만지고 냄새맡는 것까지 속이는 이 놀라운 기술의 비결은 사실 단순합니다. 우리가 그만큼 멍청하기 때문입니다. 정확히는 우리의 감각이 멍청하기 때문이죠.

VR의 시작

사실 VR의 역사는 생각보다 깁니다. 개념이 만들어지고 용어가 등장한 시대까지 따져올라가려면 100년도 넘는 역사 여행을 해야할지도 모릅니다. 그러니, 오늘날의 VR 기기들과 비슷한 첫 기계부터 찾아가 보겠습니다. 시작은 ‘센소라마’(Sensorama)라는 기계였습니다. 모튼 헤일리그라는 발명가의 작품이었죠.

Sensorama-morton-heilig-virtual-reality-headset
극장이 첨단시설이었던 시기의 1인용 극장. 1950년대의 1인용 A380.

헤일리그는 단순한 발명가가 아니었습니다. 그는 철학자이자 영화감독이었습니다. 어쩌면 헤일리그는 ’20세기의 르네상스맨’을 꿈꿨던 전쟁 이후 시대의 천재였는지도 모릅니다. 그가 1957년 만든 센소라마는 얼굴을 기계에 파묻은 채 시야를 꽉 채우는 영상과 얼굴을 스치는 바람과 향기, 손으로 느껴지는 촉각까지 제공하는 기계였습니다. 실제로 센소라마의 메인 컨텐츠였던 “뉴욕시 브루클린 지역을 오토바이로 달리는 체험”은 이 기계를 한 번이라도 써 본 사람에게 예외없는 놀라움을 선사했습니다. 컬러화면도 아니고, 실제 바람과 냄새와는 동떨어진 간단한 자극만 주는 기계였지만 현실감 있는 사운드와 그럴싸한 느낌만으로도 우리의 둔한 감각은 쉽게 가짜 현실을 진짜로 받아들인 것이죠.

문제는 비용이었습니다. 센소라마 기계는 탁월했지만, 제작비가 비쌌습니다. 반면 이 기계를 동시에 즐길 수 있는 사람의 숫자는 단 한명이었죠. 당시의 극장과 비교해 훨씬 몰입도 높은 경험을 주는 ‘미래의 영화관’을 만들고자 했던 헤일리였지만, 가격 문제를 풀지 못하고는 상업성도 얻을 수 없었습니다. 센소라마는 오늘날까지도 작동 가능한 원형이 남아 헤일리의 업적을 후대에 전하고 있지만, 실제로 VR이 제대로 활용되기 시작한 것은 다른 분야에서였습니다. 바로 항공기 조종사 양성이었죠.

예나 지금이나 비행을 위한 파일럿을 양성하는 비용은 천문학적입니다. 특히 비행기는 초보운전으로 인한 사고의 피해가 자동차보다 훨씬 치명적입니다. 무엇보다 기계를 부쉈을 때 드는 복구 비용도 만만치 않습니다. 그래서 1950년대부터는 이런 이유로 컴퓨터 스크린을 활용한 비행 시뮬레이터가 등장하기 시작합니다. 1966년, 미국 공군이 이 시뮬레이터를 받아들이면서 비행 시뮬레이터 시장은 실험 단계를 넘어 폭발적인 성장에 들어갑니다. 그리고 VR 관련 연구 또한 활발해지게 되죠.

Full_Flight_Simulator_(5997843024)
플라이트 시뮬레이터는 게임산업도 성장시켰습니다!

1968년 이런 영향으로 처음으로 머리에 쓰는 디스플레이(Head-Mounted Display, HMD)가 유타 대학 컴퓨터그래픽 교수였던 이반 서덜랜드와 밥 스프로울에 의해 개발됩니다. 두 사람은 3차원(3D) 입체 컴퓨터그래픽을 연구하고 있었는데, 고개를 돌리면서 3차원의 공간을 살펴볼 수 있는 기계를 제작했던 겁니다. 이때의 VR 기기는 오늘날의 삼성 기어VR 같은 매끈한 기계와는 차원이 달랐습니다. 너무 무거워서 헬멧처럼 썼다가는 목이 부러질 지경이었기에 천정에 끈으로 매달 정도였거든요. 이 당시 이반 서덜랜드 교수의 제자로는 객체지향프로그래밍 등 컴퓨터 분야의 주요 공로자로 꼽히는 앨런 케이, 오늘날 세계를 주름잡는 디즈니-픽사 애니메이션의 창업자 에드윈 캣멀 등이 있었습니다. 그러니까 세계 최고의 컴퓨터 그래픽 연구집단이 VR의 초기 역사에 달라붙어 있었던 셈입니다.

VR, 대중속으로

이후 VR의 발전은 기술의 문제가 아니었습니다. 가격과의 전쟁이었죠. 사실 몇 가지 중요한 기술, 즉 3차원 컴퓨터 그래픽과 빠른 처리속도를 가진 컴퓨터, 컬러 디스플레이와 실감나는 사운드를 합성하는 디지털 음향장치 등은 이미 1970년대에 들어와 이론과 시제품 개발이 끝난 상태였으니까요. 문제는 얼마나 값싸게 좋은 품질로 이런 기술을 이용한 기계를 생산할 수 있느냐였습니다.

여러 선구자들이 이 경쟁에 뛰어들었습니다. 1980년에는 아타리가 3D 컴퓨터 그래픽을 차용해 가상현실 게임을 내놓았고 이후 계속해서 VR의 개념을 구현할 게임 개발에 열을 올립니다. 1980년대 중반부터는 아타리 출신의 재론 레이니어가 처음으로 VR, 즉 가상현실이라는 개념을 대중화합니다. 그는 손에 끼는 장갑과 오디오/비디오 입출력장치 등을 만들어 실감나는 VR을 보급하려 했지만 결국 이 또한 대중화에는 실패합니다. 게다가 1990년대 중반에 이르면 거대한 파도가 몰려옵니다. VR 따위는 아득히 잊게 만들 거대한 물결이었죠. 바로 인터넷의 보급이었습니다.

Nicole_Stenger_Virtual_Reality
실감날 것 같긴 한데, 사고 싶진 않은 디자인입니다.

그럼에도 불구하고, 여전히 모험적인 회사 일부가 계속해서 VR 사업에 나섰습니다. 역시 이런 종류의 투자에는 게임회사가 가장 앞장을 섭니다. 그중에서도 세가가 열심이었습니다. 세가는 1990년대 초반부터 여러 종류의 VR 기기와 관련 게임을 만들어냈는데, 그럼에도 불구하고 값을 충분히 낮추는 동시에 게임의 질을 높이는 데에는 여전히 실패하고 있었습니다. 닌텐도도 비슷한 기술에 도전했습니다. 하지만 별 수 없이 고배를 들었습니다. 이외에도 당시 개발된 ’케이브’(CAVE)라는 시스템은 요즘 CGV 극장에 가면 볼 수 있는 ‘Screen X’처럼 극장의 3면(270도)을 화면으로 감싸 가상현실의 분위기를 냈습니다. 하지만, 역시 대중화에는 실패했습니다. 스티브 잡스를 쫓아낸 뒤 어려움을 겪고 있던 애플도 당시 새 돌파구를 VR에서 찾아보려 했습니다. 다양한 VR 기기들이 나오고 있다는 판단하에 애플의 동영상 포맷인 퀵타임으로 VR을 재생할 수 있도록 퀵타임VR이란 기술을 개발한 것이죠. 하지만 이런 노력은 모조리 수포로 돌아갑니다. 여전히 관련 기술의 값이 너무 비쌌기 때문입니다.

 

변화는 오랜 시간이 지난 2010년 갑자기 등장합니다. 파머 럭키라는 젊은 청년이 개발한 ‘오큘러스 리프트’라는 기계 때문이었습니다. VR 분야에 켜켜이 쌓인 오랜 상업화 실패의 트라우마는 대기업들이 이 시장에서 눈을 돌리게 만들었습니다. 그와 동시에 컴퓨터의 가격은 바닥을 모르고 내려갔습니다. 3차원 컴퓨터 그래픽은 이제 실제보다 더 실감나는 애니메이션을 만들기 시작했으며, 디지털 사운드는 고등학생도 가상의 밴드를 구성해 오케스트라 연주를 하게끔 만들어 줬습니다. 즉, 시기가 무르익었는데 이 시장을 누구도 보지 않고 있었던 것입니다. 파머 럭키는 이 틈을 기가 막히게 찔렀습니다. 시대가 그를 호출했다고 해야 할까요.

Palmer_Luckey_playing_with_Virtuix_Omni_(24182706770)
오덕질을 열심히 하면 억만장자가 됩니다?

어쨌든 거의 10년여 만에 다시 등장한 ‘제대로 된’ VR 기기는 갑자기 대기업들로 하여금 이 분야의 사업성을 다시 계산하게 만드는 기폭제가 됐습니다. 페이스북은 오큘러스리프트를 천문학적인 금액인 20억 달러(약 2조 원)에 인수했고, 그 뒤로 삼성과 구글을 위시한 ICT 분야의 거인들이 앞다퉈 이 시장에 뛰어들었습니다. 이제 가격은 더이상 문제가 아니었습니다. 구글은 아예 골판지로 만든 VR기기인 ‘구글 카드보드’를 선보였으니까요. 물론 중국 업체들은 그 아이디어를 재빨리 상업화해 단돈 1만원 내외의 VR기기를 경쟁적으로 제작하기 시작했습니다. 이제 VR 기기는 모두의 손에 들어갔습니다. 핵심 부품이 우리 손에 들린 스마트폰이기 때문입니다. 어느새 우리 모두는 항공사나 보유하고 있던 수십억 원 대의 비행 시뮬레이터를 능가하는 슈퍼 컴퓨터를 주머니에 넣고 다니고 있던 겁니다.

VR, 우리를 속이다

정리하자면 VR의 발달 과정은 인간의 감각을 속일 수 있는 기술 발달의 역사입니다. 먼저 우리가 가장 큰 지배를 받는 시각을 속이기 위한 컴퓨터 그래픽 기술이 중요했습니다. 초기 VR의 역사에서 컴퓨터 그래픽 엔지니어들이 중요한 역할을 한 것은 이런 이유 때문이었습니다. 시각은 단순히 현실을 그대로 보여주는 모습에 속지 않습니다. 그림이나 거울은 우리를 속이지 못하죠. 다만 우리의 시각은 움직임에 취약해서 현실처럼 사물이 반응을 보이면 속기 시작합니다. 비행에 따른 화면 변화가 상대적으로 천천히 이뤄지는 비행 시뮬레이터에서 VR 기술이 처음 꽃을 피운 것도 이런 이유 덕분이었습니다. 비행 시뮬레이터 정도로 대충 윤곽만 있는 배경을 움직여도 우리의 감각은 “실제를 흉내낸 움직임”을 실제처럼 인식합니다. 아마도 어두운 수풀 속에서 숨죽여 뛰어나오는 맹수를 빠르게 인식하기 위한 생존본능 탓인지 모릅니다.

그런데 지금은 주머니 속에 모든 사람들이 슈퍼컴퓨터를 들고 다니는 시대입니다. 이제 시각은 거의 기술에 점령됐습니다. 손바닥만한 화면으로 예전에는 수십인치 대 스크린에서나 구현되던 4K 초고화질 영상을 재생하는 오늘날의 스마트폰에 우리 눈은 더이상 속지 않고 배길 수가 없습니다.

두번째로 속여야 하는 감각은 청각입니다. 전후좌우상하 각 방면에서 접근하는 음향만 제대로 속일 수 있다면 시각 정보가 다소 부족하더라도 우리는 공감각적으로 바싹 긴장합니다. 뒤에서 다가오는 포식자나 적으로부터 몸을 보호하면서 수만 년을 진화해 온 DNA가 “보지 못한 정보일지라도 제대로 들리고만 있다면” 강한 경고 신호를 보내기 때문입니다.

세번째 감각은 촉각입니다. 실제로 만질 수 있는 가상 현실이라는 것은 그 자체로 또 하나의 현실을 구현합니다. 우리가 실재보다 더 실재같은 꿈을 꾸면서도 그것이 꿈이라고 느낄 수 있는 것은 꿈을 만질 수 없기 때문입니다. “볼을 꼬집어 봐”라는 관용구의 존재가 바로 이런 것이죠. 하지만 VR 연구자들은 이미 오래전부터 가상의 촉각을 만들어내는 연구를 해왔습니다. 그리고 오늘날의 발전된 로봇 기술은 이 촉각을 상당히 구체적으로 구현해 내고 있습니다.

Scent1
매들린은 냄새를 입력받아 분석한 뒤 시료로 재현해내는 화학카메라입니다.

곧 VR은 현실 그 자체가 될지도 모르겠습니다. 미각과 후각까지 속일 수 있게 된다면 우리는 더 이상 현실에서 밥을 먹고 에너지를 공급받아야 한다는 의지마저 잊어버리게 될지도 모릅니다. 이미 후각을 좌우하는 분자구조를 합성해 냄새를 재현해주는 기계들이 하나둘 개발되고 있습니다. 영국의 디자이너 에이미 래드클리프가 2013년 만든 향기 분석 및 재현 카메라 ‘매들린’은 이런 꿈을 현실로 만들어 줍니다. 기술적으로는 대단한 것이 아니었습니다. 향수 제조사들이 하듯, 향기 샘플을 채취해 분석 후 시료로 만드는 과정을 카메라가 사진을 찍듯이 자동화했을 뿐입니다. 하지만 결과는 놀라웠습니다. 후각은 우리에게 추억과 감성을 일깨워주는 감각이었는데 추억과 감성까지 조작되는 시대가 열린 겁니다. 그러니, 이제 영화 ‘매트릭스’의 세계처럼, 기계가 공급해주는 에너지원을 받아 생활하면서 평생 꿈만 꾸는 가상현실의 노예가 되는 것도 멀지 않은 일이 아닐까 싶습니다.

Advertisements

ICBM을 만든 역사적인 기술

1977년, 영화 ‘스타워즈’가 처음 개봉했을 땐 컴퓨터 그래픽이라곤 없었습니다. 특수효과를 위해선 모든 걸 실제로 만들어 촬영하거나, 아니면 필름 위에 손으로 그림을 그려넣어야 했죠. 그래서 스타워즈 시리즈의 인기 캐릭터인 로봇 C-3PO나 R2-D2 등은 모두 사람이 직접 속에 들어가 연기해야 했습니다. 당연히 로봇의 모습에도 제약이 있을 수밖에요. 그런데 약 40년의 시간이 흐른 2015년의 ‘스타워즈: 깨어난 포스’에서는 이런 제약이 사라졌습니다. 덕분에 이 영화에 새로 등장하는 로봇 BB-8은 더 이상 사람이 속에 들어가 연기하지 않습니다. 대부분 실제 기계가 연기를 하고, 부자연스러운 장면에는 컴퓨터 그래픽이 쓰였죠.

bb8-droid-1141607_960_720
이제 굳이 저 속에 사람이 들어가지 않아도 됩니다.

그런데 BB-8을 보신 분들은 아시겠지만, 이 로봇은 360도 굴러가는 공 모양의 몸을 가지고 있습니다. 머리는 그 위에 얹혀 있죠. 눈사람처럼 공 위에 또 공을 올려놓고 아래 공을 굴려 움직이는데도 신기하게 위에 얹힌 머리는 떨어지질 않습니다. 영화니까 가능한 게 아닙니다. 스피로라는 스타트업은 BB-8을 장난감으로 만들어 판매중입니다. 스마트폰으로 조종할 수 있는 이 장난감 BB-8도 공 위에 머리가 얹힌 상태입니다. 바로 중력센서라고 흔히 불리는 가속센서(accelerometer)와 자이로센서(gyroscope) 덕분입니다. 이 센서들이 BB-8의 몸체가 어디로 움직여도 공모양의 몸 속에 있는 모터 및 작동부를 바닥에 자리잡게 도와주고, 반대로 머리는 공모양 몸체 윗부분에 붙어있게 해주는 것이죠.

중력센서와 자동차

이 가속센서는 의외로 활용 범위가 넓습니다. 물체의 움직임을 정확하게 측정할 수 있기 때문인데요, 당장 우리가 타는 자동차의 에어백이 이 가속센서를 활용한 제품입니다. 물론 처음에는 범퍼에 직접 충격이 왔을 때 에어백이 터지는 등 구식 방식의 센서를 활용했지만, 1990년대 이후 가속센서가 쓰이면서 그 정확도가 비약적으로 높아졌습니다. 오늘날의 차량에 쓰인 가속센서는 차체에 비정상적인 급한 감속이 생기는 순간을 순간적으로 감지해, 충돌과 함께 에어백을 자동으로 터뜨려 운전자를 보호하게 되는 것이죠.

11644168395_248cc7d3a4_b
추락하는 하드디스크에는 에어백이 있습니다

컴퓨터 회사들도 이 자동차 에어백의 원리에 무릎을 쳤습니다. 요즘은 플래시메모리를 사용한 솔리드스테이트드라이브(SSD)라는 곳에 정보를 저장하는 경우가 늘고 있지만, 불과 5년 전만 해도 대부분의 컴퓨터는 하드디스크드라이브(HDD)를 사용했습니다. 이는 고속으로 회전하는 자기(磁氣) 원반 위를 헤드라고 불리는 장치가 살짝 뜬 상태로 빠르게 읽어들이는 방식으로 작동합니다. 그런데 노트북 컴퓨터를 들고 다닐 땐 차가 덜컹거린다거나 노트북을 떨어뜨리는 순간 등이 생기게 마련입니다. 이 때 헤드가 자기 원반을 툭 건드리면서 생기는 흠집은 치명적이었습니다. 작은 흠집이라도 워낙 민감한 정보를 많이 저장하는 HDD의 특성상 치명적인 정보 손실로 이어졌기 때문입니다. 그래서 컴퓨터 제조사들은 가속센서를 노트북에 부착합니다. 하드디스크의 헤드가 원반을 건드릴 정도의 큰 충격이 발생할 땐 헤드를 원반에 닫기 전 강제로 떼어내도록 한 것입니다. ‘컴퓨터용 에어백’이라 할 만한 발명이었습니다.

최근의 자동차에 기본으로 장착되어 나오는 차체자세제어장치(ESP)도 가속센서의 덕을 보는 기계입니다. 운전자가 차의 스티어링휠을 급격하게 좌우로 꺾으면 차는 관성의 법칙에 의해 빙그르 미끄러져 돌게 마련입니다. 고속으로 달리는 도로에서 이런 일이 벌어지면 대형 사고로 이어지게 마련이죠. 그래서 요즘 자동차는 수십분의일초 간격으로 차의 움직임을 측정합니다. 바퀴가 도는 속도와 실제 차량이 움직이는 속도 등을 비교해 바퀴가 미끄러지고 있는지를 살피고,(가속센서) 차체가 실제로 미끄러진다면 어떤 방향으로 어떤 속도로 회전하는지 파악해(자이로센서) 특정 바퀴의 브레이크를 잠그거나 풀면서 방향을 바로잡습니다. ESP가 적용된 차의 경우 사고율이 30% 이상 감소하는데다 안전한 차선 회피율은 두배나 높아진다고 합니다. 네 바퀴 중 한 바퀴의 브레이크만을 수십분의일초로 계산해 잠궜다 풀어주는 일은 어떤 프로 레이서도 할 수 없는 일이니까요.

중력을 이해하다

가속센서는 중력 자체를 측정하는 데에도 도움이 됩니다. 예를 들어 요즘 한강 고수부지 등에서 쉽게 살펴볼 수 있는 무인조종 비행기 드론이 이런 기술을 사용합니다. 네 개의 프로펠러로 날아가는 형태가 대부분인 드론은 몸체의 수평을 자동으로 유지하는 기술이 가장 중요한데, 가속센서가 각각의 프로펠러 부분의 수평을 맞춰주기 때문입니다. 참, 가속센서란 속도를 측정하는 것인데 어떻게 수평을 맞추는지 궁금하실 겁니다. 이게 바로 ‘중력 가속도’를 파악하기 때문입니다. 가속센서는 바닥에 놓여서 움직이지 않을 때 센서 자체가 수직방향 위쪽으로 중력 만큼의 가속을 하고 있다고 파악합니다. 중력에 의해 아래로 떨어지고 있는 동안이야말로 가속도가 0인 상황이라 보는 것이죠. 자이로센서는 반대로 드론이 어느 방향을 보고 있는지를 정확히 파악합니다. 회전각에 따른 운동을 파악하기 때문입니다.

이같은 중력센서의 특성을 이용하면 각 지역 별 높이와 지각의 밀도 등에 따라 미세하게 변하는 위치별 중력 가속도의 차이를 읽을 수 있습니다. 이를 활용한 것이 바로 미사일, 특히 대륙간 탄도미사일(ICBM)입니다. 실제로 냉전시기 미국과 소련은 서로 상대국의 각종 방해전파 등이 방해해도 한 번 발사한 미사일이 목표물을 향해 정확하게 날아가도록 가속센서를 활용한 유도장치를 개발해 왔습니다. 이들은 세계 전역의 스파이들과 바다 곳곳을 누비는 핵잠수함 등을 이용해 세계 곳곳의 실제 중력량을 측정한 ‘중력지도’를 만든 뒤 이를 ICBM에 적용해 왔습니다. 이것이 제 아무리 바람이 불고 기후가 변하고 방해전파가 작동해도 장거리 미사일이 목표를 향해 정확하게 발사되는 비결입니다.

Geoids_sm
이 정도 지도는 있어야 ICBM을 쏘는 겁니다.

하지만 중력을 측정한다는 건 무시무시한 미사일 발사에만 도움이 되는 것은 아닙니다. 일상을 풍요롭게 만드는 데에도 큰 도움이 됩니다. 대표적인 것이 바로 우리가 요즘 많이 찍는 디지털 사진입니다. 필름으로 사진을 찍던 시대와는 달리 요즘 디지털 카메라, 혹은 스마트폰 카메라들은 카메라를 세워서(수직방향) 찍을 때나 눕혀서(수평방향) 찍을 때를 알아서 구분한 뒤 우리가 촬영한 사진을 세우거나 눕혀 줍니다. 이런 판단을 내릴 수 있는 이유가 바로 가속센서 덕분입니다. 또한 이 기술은 향후 ‘손떨림 방지’ 기능으로도 이어지죠. 미세한 진동을 가속센서가 빠르게 파악해 움직임의 반대 방향으로 렌즈를 세밀하게 움직이면서 최대한 흔들리지 않는 화면을 만들어내는 겁니다.

중력센서 시장의 폭발

사실 최근 10년 동안 이같은 가속센서의 활용은 말 그대로 ‘폭발’했습니다. 닌텐도가 약 10년 전 쯤 개발한 ‘위(Wii)’라는 게임기가 시장을 열었다고 봐야합니다. 위 게임기는 막대 형태의 게임 조종기로 게임을 조작하는데, 이 조종기 속에 바로 가속 센서가 사용됩니다. 고급 모델인 ‘위 플러스’에서는 자이로스코프도 함께 사용돼 각도의 움직임까지 정확히 측정하기 시작합니다. 즉 게임 컨트롤러가 어떻게 움직였는지 뿐만 아니라 어느 쪽을 바라보는지, 그쪽으로 얼마 만큼의 각도를 얼마나 빠르게 회전했는지까지 알려주는 셈이죠. 가속센서와 자이로센서가 함께 쓰인 위 컨트롤러는 해당 컨트롤러를 든 사람의 움직임을 거의 완벽하게 파악할 수 있어 게임 조작에 최고입니다. 예를 들어 위 컨트롤러를 들고 주먹을 휘어서 내뻗으면 게임 속 내 캐릭터가 악당에게 멋진 라이트훅 펀치를 날리는 식입니다.

2329815440_e08ed46e56_b.jpg
얼굴에 고글보다는 손에 막대가 좀 낫네요

이 기능은 최근 인기를 끄는 ‘오큘러스VR’, ‘기어VR’ 같은 가상현실 체험기에도 사용됩니다. 10년 동안 엄청나게 발전하면서 값도 싸진 중력 센서는 이제 눈 앞까지 덮는 헬멧 형태의 기계를 착용한 채 고개만 움직이면 시선에 따라 영상이 함께 움직이는 세상을 구현하는 수준으로 발전했기 때문입니다. 중력센서는 우리 눈 앞에 현실감 넘치는 가상현실(Virtual Reality)을 실제로 구현해 주는 일등공신이 됐습니다.

중력센서를 사용한 재미있는 기술에 VR 업체들보다 앞서서 주목했던 회사도 있습니다. 바로 애플이었죠. 애플은 ‘아이폰’을 개발하면서 가속센서를 사용합니다. 그 덕분에 수많은 게임회사들이 버튼 하나 없는 아이폰에서도 게임을 만들기 시작했습니다. 전화기를 흔들거나 움직이면 게임 화면을 조작하는 것이 가능해졌으니까요. 물론 위 컨트롤러나 아이폰을 잘못 흔들다가 기계를 떨어뜨리거나 잘못 날려버려서 집안의 기물을 망가뜨리는 일이 생기는 부작용이 일어나긴 했습니다만… 어쨌든 아이폰, 그리고 아이폰의 영향을 받은 수많은 스마트폰의 가속센서 채용은 이 작은 센서 시장의 엄청난 성장을 불러옵니다. 2011년에는 애플이 세계 메이저 중력 센서 업체의 부품 절반 이상을 사들일 정도였는데 곧이어 다른 스마트폰 제조사들이 이 경쟁에 가세하면서 시장이 기하급수적으로 커지게 됩니다.

그렇다고, ‘역시 애플’이라며 감탄만 하기엔 이릅니다. 삼성전자 또한 스마트폰을 팔기 전 이 가속센서를 사용한 휴대전화를 만든 적이 있습니다. 2005년 출시된 이른바 ‘비트박스폰’인데,(아이폰보다 2년이 빨랐습니다) 가속센서를 사용해 흔들면 주사위 게임을 즐길 수도 있고, 무엇보다 허공에서 숫자를 그리면 단축번호가 인식되면서 전화가 걸리는 기능이 있었습니다. 하지만 들고다니다 괜히 전화가 걸리는 등의 오류로 비판을 받기도 했죠.

motor_50375
이것이 바로 애니콜 비트박스폰!

최근에는 우리가 타고 다니는 교통수단에도 이런 중력센서가 사용됩니다. 중국의 샤오미가 만들어 최근 인기를 끄는 ‘나인봇’이라는 1인용 탈것은 단 두개의 바퀴위에 사람이 올라서면 자동으로 중심을 잡아주는 방식으로 움직입니다. 바퀴가 자전거처럼 앞뒤로 있는 게 아니라, 좁은 판자에 올라서면 양 발 옆으로 가로로 놓인 것이라서 앞뒤로 넘어질까 두려워 할 수 있습니다. 하지만 중력센서가 흔들림을 정확히 제어하면서 처음 올라타는 사람도 넘어지지 않도록 도와줍니다. 세그웨이라는 미국 회사가 약 십년 전 대당 천만원 정도 하는 기계를 이 기술로 만들었는데, 샤오미가 세그웨이를 인수한 뒤 대당 30만 원 수준의 기계로 값을 낮춰 판매하고 있습니다.

이런 다양한 일을 하는 중력센서를 보편화한 건 결국은 반도체 기술이었습니다. 초소형 공정을 가능하게 만든 반도체 기술 혁신이 단순히 전자회로만이 아니라 물리적 움직임을 감지하는 소형 기계 센서까지 탄생시킨 겁니다. 최근 우리 주위는 가속센서와 자이로센서 같은 중력 센서들로 도배돼 있다고 해도 과언이 아닙니다. 스마트폰과 카메라는 물론, 자동차와 각종 스마트워치 등의 ‘웨어러블 디바이스’까지 거의 모든 전자기기에 사용되고 있기 때문이죠. 중력센서야말로 진정한 사물 인터넷 시대를 우리 생활로 앞당겨 불러들인 일등공신이 아닐까 생각합니다.

기계와 대화하는 법, 인터페이스의 역사

기술은 늘 우리 옆에 있던 것 같지만, 사실 어느날 갑자기 등장합니다. 2010년 이전에는 스마트폰이란 걸 들고 다니는 사람을 찾기란 오늘날 전기차를 타는 사람을 보는 것만큼 희귀한 일이었습니다. 2000년 이전 인터넷을 하는 사람도 마찬가지였죠. 하지만 어느날 갑자기 등장한 것 같은 기술도 자신만의 긴 역사를 갖고 있습니다. 그리고 그 역사 위에는 다양한 뒷얘기들이 존재합니다.

역사란 언제나 오늘을 다시 생각하게 해 주는 거울입니다. 마치 우리의 자녀들처럼 말이죠. 아이들이 우리의 거울인 것처럼, 역사 또한 마찬가지입니다. 그리고 역사는 우리의 미래를 보여줍니다. 마치 우리 아이들이 우리의 미래를 보여주는 것처럼. 첫 시작은 터치 인터페이스입니다. 손으로 만지는 직관적인 상호작용의 방식, 이렇게 설명하면 어렵지만 사실 간단한 것입니다. 우리는 모래 위에, 진흙 위에 뭔가 쓰고 그리며 서로 대화해 왔습니다. 그 대화를 컴퓨터와는, 스마트폰과는 어떻게 나눠 왔을까요? 그 방법의 역사를 생각해 봅니다.

예를 들어, 애플은 매년 새 아이폰을 발매하면서 새로운 기술을 하나씩 들고 나타났습니다. 마치 공상과학 영화에나 있던 것 같은 기술들이었지만, 애플은 이런 기술이 마치 어제까지도 우리가 이미 써 왔던 기술인 양 자연스럽게 소개하는 능력이 있는 회사였습니다. 생각해 보세요. 지금은 일상적인 스마트폰을 이용한 화상통화가, 사실 애플이 페이스타임이라는 기능을 아이폰에 집어넣기 전까지는 TV 광고에나 등장하는 괴짜들의 기술일 뿐이었습니다. 우리가 말로 얘기를 걸면 알아듣는 인공지능 비서 시리라거나, 손가락만 올리면 잠금이 풀리고 기능이 실행되는 지문인식 기술도 마찬가지였죠. 그리고 애플은 아이폰 6s부터 ‘3D터치’라는 기능을 선보였습니다.

23823538096_1eab68c556_o3D터치는 움직이지 않는 평평한 유리 스크린을 누르면 그 압력을 아이폰이 느낀 뒤, 사용자가 누른 깊이를 아이폰의 조작에 반영하는 기술입니다. 그냥 손가락을 대면 터치, 조금 힘줘 누르면 살짝 누른 앱의 내용을 미리 보여주는 피크(peek), 좀 더 세게 누르면 아예 다음 기능으로 넘어가는 팝(pop) 등 크게 3단계의 힘을 인식하는 것이죠. 유리 표면은 움직이지 않은 채 평평하지만, 아주 미세한 압력의 변화가 이 평평한 면에 깊이를 더한 것 같은 착각을 만들어 냅니다. 이는 2차원 평면으로만 여겨졌던 디지털 스크린에 깊이라는 3차원 속성을 만들어낸 새로운 발명입니다.

별 것 아니라고 생각할지 모르겠지만, 영화 마이너리티 리포트에서 톰 크루즈가 두 손을 허공에 올려 조작하던 컴퓨터를 떠올려 보세요. 톰 크루즈는 그 때 일반적인 마우스로 하는 것 같은 2차원 평면 작업을 3차원 공간에서 해냅니다. 평면에 깊이를 더한 것이죠. 문제는 영화 속에선 그런 식의 기계 조작이 멋있게 보일지 몰라도, 현실에서 스마트폰이나 컴퓨터를 조작할 때마다 두 손을 허공에서 휘저어야 한다면 이게 보통 중노동이 아니리라는 겁니다. 그래서 애플은 톰 크루즈가 휘두르던 팔의 깊이를 손끝에 주는 힘의 차이로 해석해 현실 속 기기에 적용합니다. 그게 3D터치입니다. 아이폰만이 아닙니다. 이미 애플워치에 적용된 기술이고, 애플의 새 컴퓨터에도 쓰이기 시작한 기술입니다.2494667_orig

사용자 인터페이스의 진화

설명은 복잡하게 했지만, 3D터치가 하는 일은 사실 단순합니다. 화면 위의 무언가를 선택하고, 그 선택한 지점에서 특정한 행동이 실행되도록 하는 것이죠. 이런 기술은 오늘날의 스마트폰은 물론 컴퓨터 등 여러 화면을 사용한 기기에 필요합니다. 그렇다면 20세기 중반 이런 기술이 가장 필요했던 화면이 사용되는 기술은 무엇이었을까요? 바로 군사 목적의 레이더였습니다. 2차 세계 대전이 끝난 뒤 전승국이었던 미국과 영국 등은 물론 패전국이었지만 많은 과학적 성취를 쌓아올렸던 독일에서 오늘날의 마우스를 짐작하게 하는 초기 기술들이 생겨나고 있었습니다.

하지만 오늘날의 마우스 형태를 갖췄다고 할만한 첫 제품은 미국 스탠포드연구소(SRI)의 더글라스 엥겔바트가 개발했다고 할만합니다. 인간과 컴퓨터 사이의 상호작용 분야에 뚜렷한 획을 그은 더글라스 엥겔바트는 손안에 들어오는 크기의 네모난 나무상자 속에 가로세로축의 움직임을 파악할 수 있는 롤러를 넣고, 그 사이를 볼이 굴러가도록 만들어 움직임을 추적하는 장치를 만들었습니다. 화면 위의 화살표를 이 기계로 조정해 특정 위치를 ‘클릭’하는 오늘날의 마우스였죠.

Xerox_Alto_mouse연구실에서나 사용하는 것 같았던 이 기술을 본격적으로 컴퓨터용 개인 입력기기로 사용하기 시작한 건 제록스가 만든 팔로알토연구소(PARC)였습니다. PARC는 마우스를 실제로 쓸만하게 제작해 컴퓨터에 연결한 것은 물론이고, 마우스로 작동시키면 누구나 쉽게 사용법을 익힐 수 있는 현대적인 컴퓨터 운영체제도 만들었습니다. 이전의 컴퓨터가 검은 화면 위에 뜬 명령입력줄에 어려운 명령어를 익힌 뒤 명령어를 입력하는 방식으로 작동했던 것과 비교하면 이는 혁명적인 변화였습니다. 마이크로소프트도 이 기술의 잠재력에 주목해 오피스 프로그램에서 마우스를 지원하기로 하고 연구를 벌일 정도였습니다.

이 때 한 남자가 생긴지 몇 년 되지 않은 회사의 직원들을 잔뜩 데리고 PARC를 방문합니다. 애플의 스티브 잡스였죠. 그리고 PARC의 마우스와 마우스를 이용한 그래픽사용자인터페이스에 푹 빠지고 맙니다. 이후 스티브 잡스는 애플에 돌아와 자신만의 차세대 컴퓨터 개발을 시작합니다. 1984년, 이 컴퓨터가 바로 매킨토시라는 이름으로 세상에 공개됩니다.

마우스 아닌 마우스

마우스는 초기에 군사용 레이더 화면을 쉽게 확인하기 위한 입력기기로 사용됐다고 앞서 설명한 바 있습니다. 이 때의 마우스는 마우스라기보다느 오늘날의 트랙볼 형태에 가까웠습니다. 고정된 틀 위에 손으로 굴릴 수 있는 볼을 올려놓은 것이죠. 이것이 이를 뒤집어 바닥에 볼을 굴리고 틀을 손으로 움직이는 마우스로 발전합니다. 트랙볼과 마우스는 이후 서로의 장단점을 보완하면서 꽤 오랫동안 발전합니다. 상대적으로 트랙볼은 정확한 움직임이 가능하지만 마우스는 빠른 움직임과 편한 사용법이 장점이었습니다.

이 틈새를 뚫고 마우스 같은 역할을 하는 여러 기술들이 개발됩니다. 대표적인 것이 IBM이 사용했던 일명 ‘빨콩’(빨간콩 모양을 뜻하는 속어), 즉 포인팅스틱입니다. 아주 작은 조이스틱 같은 장치인데, 키보드 사이에 손가락에 주는 힘만으로 커서를 움직일 수 있는 막대를 끼워 둔 형태입니다. 키보드에서 손가락을 거의 떼지 않고도 사용할 수 있고, 노트북의 공간을 아껴준다는 점이 대표적인 장점으로 꼽혔습니다. 한 연구에 따르면 손이 키보드와 마우스 사이를 오가는 시간이 평균 0.75초가 걸리는데, 포인팅스틱은 이 시간을 크게 단축시켜준다고 해서 타자를 칠 일이 많았던 기업용 컴퓨터에 많이 활용되곤 했습니다.

1990년대부터는 터치패드도 쓰이기 시작합니다. 손의 정전기를 감지하는 패드를 이용한 포인팅 장치인데, 제대로 컴퓨터에 쓰이기 시작한 건 1994년 애플이 파워북이라는 노트북을 만들면서부터입니다. 오늘날에는 대부분의 데스크탑 및 노트북 컴퓨터가 마우스가 아닌 트랙패드라고 불리는 애플 방식의 터치패드를 쓰는 경우가 많은데, 그 첫 상용화도 애플이었던 셈입니다.
한 때 마우스와 서로 경쟁하는 입력장치였던 트랙볼은 물리적으로 먼지가 끼는 불편함 때문에 점점 시장에서 퇴출되기 시작합니다. 마우스는 볼 대신 레이저를 이용하면서 수명을 연장했지만, 트랙볼은 터치패드에게 자리를 내주고 만 것이죠. 가장 마지막까지 쓰인 트랙볼은 블랙베리나 HTC 같은 회사가 자신들의 스마트폰에 사용했던 미니 트랙볼이었지만, 이 또한 결국 터치패드에 밀려나고 맙니다.

마우스 뒤의 사람들

마우스는 단순한 기계가 아니었습니다. 마우스 주위를 스쳐간 인물들은 현대의 컴퓨팅 기술에 큰 영향을 미쳤습니다. 예를 들어 마우스의 아버지라고 할 수 있는 더글라스 엥겔바트는 인간과 컴퓨터 사이의 상호작용을 제대로 연구한 선구자였습니다. 그는 마우스 외에도 오늘날의 인터넷의 주요 원리 가운데 하나인 하이퍼텍스트(한 문서의 링크를 클릭하면 다른 문서가 열리는 방식) 연구에 큰 기여를 하고, 수많은 상호작용 연구를 지원하는 재단도 세웠습니다. 무엇보다 엥겔바트는 마우스 관련 특허도 출원해 놓고, 이와 관련된 로열티를 거의 받지 않은 것으로도 유명합니다. 애플은 제품 하나를 만들 때마다 로열티를 지불하는 대신, 약 4만 달러 정도의 헐값에 마우스를 얼마든지 제작해서 사용할 수 있는 라이센스를 사들일 정도였으니까요.

Exif_JPEG_PICTURE또한 애플에게 큰 영향을 준 PARC에서는 테드 셀커라는 연구원이 포인팅스틱 아이디어를 개발합니다. 키보드와 마우스 사이를 오가는 손동작 시간을 줄여보려던 기술임은 앞서 얘기했었죠. 이 기술을 IBM이 쓸 수 있었던 건 IBM이 제록스의 PARC에서 셀커를 스카우트했기 때문입니다. IBM으로 이직한 셀커는 포인팅스틱을 더 다듬었고, 이는 IBM 씽크패드 노트북의 가장 중요한 입력장치로 포함되게 됩니다.

이렇게 말하면, 셀커나 엥겔바트 같은 사람들이 기계를 만들어내는 사람들 같지만, 이들은 그보다 더 높은 차원의 상호작용을 연구하고 있었습니다. 사람의 의도가 컴퓨터에 어떻게 더 쉽게 전달될 수 있을까 하는 주제였죠. 최근에 이들의 연구는 애플의 3D터치같은 기계적인 성취는 물론 또 하나의 중요한 기술 발달로 이어집니다. 바로 맥락을 파악하는 기술(Context Awareness)입니다. 오늘날 아이폰의 ‘시리’나 구글의 ‘구글나우’ 같은 기능은 사람이 무언가를 입력하기도 전에 아마도 입력할 것 같은 정보를 미리 찾아 보여줍니다. 아침에 일어나면 뉴스와 날씨를 보여주고, 극장 옆에서는 상영중인 영화정보를 알려주는 식입니다.

시작은 이렇게 늘 자그마합니다. 하지만 수십년의 세월이 지나면 그 작은 기술들의 발전은 어마어마한 변화를 만들어내게 됩니다.

tumblr_inline_nqjgv45gSt1rqvlru_500