미국 샌프란시스코에서 개최된 2016 인텔개발자포럼(IDF2016)에선 ‘미래는 당신이 만든다’라는 주제로 인텔이 새롭게 개발한 제품들을 선보였다. 대표적인 반도체 개발회사이던 인텔은 연초에 사물인터넷용 컴퓨터 ‘큐리’와 공간에서 발생하는 물체의 움직임을 감지하는 ‘리얼센스’ 카메라를 소개했었다. 이번엔 가상현실과 증강현실을 결합한 무선 헤드셋 프로젝트 ‘알로이(Project Alloy)’를 선보였다. 인텔이 제공한 동영상에서 헤드셋을 쓴 주인공이 현실처럼 느껴지는 고해상도 가상공간 속으로 들어가서, 가상공간 속의 인물들과 직접 상호작용하며 영상장면을 멈추게 하거나 심지어는 영상의 전개방향을 바꿔주는 힘을 발휘하는 것을 보여줬다. 인텔은 이를 현실합병기술(Merged Reality)이라고 소개한다. 약간의 과장이 있지만 인텔이 영상물을 통해 주장하고 싶은 것은 가상공간에서도 현실처럼 자연스러운 방식으로 상호작용할 수 있다는 점이다. 가상현실(VR, Virtual Reality) 기술처럼 미리 정해진 가상공간만을 관찰하는 것만이 아니라 현실공간에서 가상공간에 변형을 가해줄 수 있다는 설명이다.

삼성전자와 오큘러스(Oculus)가 제공하는 가상현실(VR) 헤드셋을 착용하면 현실공간(R, Reality)을 떠나게 된다. 오직 가상(V, Virtual) 공간에서 펼쳐지는 세상을 현실로 대체하여 인식하게 만든다. 그런데 가상현실(VR) 공간을 현실에서 가해주는 조작으로 변형을 시킨다면 가상증강(VA, Virtual Augmented) 기술이 된다. 대표적인 사례가 골프존(Golfzone)이 개발한 실내골프게임이다. 인텔이 새롭게 보여준 현실합병(MR, Merged Reality) 기술도 가상증강(VA)기술의 일종이다. 반면에 포켓몬 고(Pocketmon Go) 게임같이 현실공간에 캐릭터를 중첩시켜서 보여주는 기술은 단순한 증강현실(AR, Augmented Reality) 기술이다. 현실공간에 가상의 디지털 정보가 삽입되었다는 의미다. 가장 널리 알려진 기술은 구글이 도입했던 구글글라스(Glass) 기술이다. 대중판매는 접었지만 지금도 시설점검 등 전문 영역에서 활발히 활용되고 있다.

일하고, 놀고, 소통하는 방식이 다 바뀐다

인텔 CEO인 브라이언 크르자니크(Brian Krzanich)는 앞으로 컴퓨팅 기술이 발달하면 현실(R)공간이 가상(V)공간으로 들어갈 수 있고, 반대로 가상(V)공간이 현실(R)공간 속으로 나올 수도 있다고 설명한다. 앞으로 펼쳐질 가상현실(VR) 기술은 지금까지 일하는 방식, 노는 방식 그리고 소통하는 방식을 전혀 다른 형태로 전환시켜줄 것이라고 그는 진단했다. 하지만 인텔이 소개한 기술은 마이크로소프트가 이미 발표한 홀로렌즈를 이용한 혼합현실(MR)기술에 비하면 지엽적이다. 마이크로소프트의 홀로렌즈는 실제 현장에 디지털 자료와 영상물을 겹쳐보이게 하여 이제껏 경험해보지 못한 새로운 경험과 감(感)을 느끼게 해준다. 특히 홀로그램을 실물 크기로 보여주므로 디지털 영상물들과 현장에 있는 실제 물건들이 사실처럼 잘 어울린다. 홀로렌즈는 2D, 3D 동영상 정보까지 가상의 디지털 정보를 현실공간에 이음새 없이 섞어서 보여주는 혼합현실(MR) 기술이다. 홀로렌즈를 착용한 주인공은 혼합현실 장면들을 실제 현실처럼 인식하게 된다. 혼합현실 기술은 실제 세상에 유익한 정보를 현실공간에 겹쳐서 보여주는 증강현실 기술부터 3D 홀로그램을 현장에 겹쳐서 보여주는 혼합현실 기술, 그리고 가상세계 속으로 들어가서 가상세계를 직접 체험해보는 가상증강(VA) 기술까지를 모두 포함하는 개념이다. 반면 현실을 떠나서 가상의 공간만 존재하는 가상현실(VR) 기술은 현실과 정반대 개념이다.

홀로렌즈를 착용하면 다른 곳에서 벌어지고 있는 동영상 정보나 컴퓨터상에서 작동시킨 소프트웨어 화면을 홀로렌즈 착용자가 보고 있는 현실공간 속에 가상의 이미지 정보로 겹쳐 볼 수 있는 증강현실(AR) 기술 속으로 들어간다. 이때 홀로렌즈는 여러 개의 가상(V)화면을 동시에 불러올 수가 있다. 만약 홀로렌즈를 착용한 채 ‘스카이프(skype)’로 친구나 가족 혹은 동료와 연결하면, 현실(R)공간 속에 떠 있는 여러 개의 가상화면들 중 한 개의 가상화면에 상대의 컴퓨터 카메라가 촬영한 모습이 실시간으로 겹쳐져 보인다. 이때 상대방의 컴퓨터나 태블릿 화면상에는 홀로렌즈를 착용한 사람이 보는 모든 가상화면들 즉 가상공간 속에 떠있는 자신의 모습을 담은 화면은 물론이고, 홀로렌즈를 통해 보고 있는 현실공간과 모든 가상공간들이 함께 혼합된 장면을 실시간으로 볼 수 있다. 따라서 스카이프로 연결된 사람들도 홀로렌즈를 착용한 사람과 같은 화면을 모니터 화면상에서 보면서 서로 상의도 하고 소프트웨어를 직접 개입하기도 하는 실질적인 실시간 협업이 가능해진다.

개인도 영화제작자처럼 가상의 동영상을 만든다

홀로렌즈를 통해서 가상의 장면을 현실공간에 화면 테두리 없이 3D 이미지로 혼합시켜서 볼 수도 있다. 이땐 가상의 3D 이미지나 동영상이 홀로렌즈를 착용한 사람의 현실공간 속에 완전히 겹쳐져 보인다. ‘액숀그램(Actiongram)’이 개발한 소프트웨어는 홀로렌즈를 통해 보는 장면의 일부를 새로운 동영상 프레임으로 잡아서 촬영할 수 있다. 영화 촬영에서 흔히 컴퓨터 그래픽 장면을 현실 장면 속에 삽입하듯이 홀로렌즈상에서도 가상의 동영상을 현실장면 속에서 벌어지는 것처럼 영상프레임을 조작할 수 있다. 예를 들면, 밧줄을 타고 암벽을 내려오는 사람의 장면을 찍은 동영상을 현실공간에 존재하는 책꽂이 측면에 비추면, 마치 책장을 타고 내려오는 장면 같은 가상의 합성공간이 만들어진다. 이 부분을 프레임으로 삼아서 홀로렌즈로 촬영하면 마치 책장 측면에 사람이 밧줄을 타고 내려오는 동영상이 만들어진다. ‘액숀그램’은 이렇듯 가상의 이야기를 동영상으로 만들어주는 홀로렌즈 응용 소프트웨어이다. 앞으로 개인들도 영화 속에서나 보았던 가상의 동영상들을 제작해서 서로 교환하는 놀이가 가능해졌다.

로보레이드(RoboRaid)는 혼합현실 1인 슈팅 게임을 홀로그램으로 제작하는 기업이다. 여러 방면에서 공격해오는 로봇 적들을 대상으로 실감나는 전투를 경험하게 해주는 게임을 만들고 있다. 홀로렌즈를 착용하면 집안이 온통 로봇의 침공을 받는 최전방으로 변한다. 공간매핑으로 각 방마다 독특한 전쟁터로 설계할 수도 있다. 적들은 집안 벽면을 파괴하고 달려들지만 홀로렌즈를 착용한 주인공은 적에게 시선을 맞춰 손가락만 움직여도 레이저 섬광을 날려 적들을 파괴하는 스릴을 느끼게 해준다.

‘홀로투어(Holotour)’는 홀로렌즈를 착용한 채 가상의 공간 속으로 여행하는 소프트웨어를 개발하는 업체다. 홀로렌즈를 착용하고 ‘홀로투어’가 개발한 소프트웨어를 작동시키면 여행지가 360도 파노라마같이 동영상으로 펼쳐지고 그 공간 속의 소리들까지도 모두 실제로 눈앞에서 일어나는 일처럼 입체감을 느끼게 해준다. 여행지의 장면들은 3D 홀로그램으로 현실공간에 겹쳐주므로 현실감이 높다. 또 ‘멜리사(Melissa)’라는 개인 여행안내원이 가상화면에 보이는 장면들에 대해서 역사적인 의미나 사실들을 설명해주고 화면상에 문장을 뿌려 알려준다. 홀로렌즈를 이용하면 직접 관광지를 찾아가지 않아도 마치 현지를 여행하는 것 이상의 느낌을 받을 수 있게 만들어 주는 기술이 바로 ‘홀로투어’의 기술이다.

‘홀로스튜디오(HoloStudio)’는 현실세계의 도구들을 모방한 홀로그램용 도구들을 사용하여 자연스런 손짓이나 몸짓만으로 3D 홀로그램을 만드는 기술을 개발했다. 컴퓨터 모니터상에서 포토샵으로 그림을 그려내듯이 3차원 공간 속에 자신만의 홀로그램을 직접 디자인해서 친구들과 교환할 수가 있다. 이는 모든 비즈니스 영역에서 혼합현실 기법이 활용될 수 있음을 암시한다.

가상과 현실이 혼합된 혼합현실 비즈니스가 상식화된다

프라그먼츠(Fragments)는 탐정놀이 게임을 만드는 기업이다. 홀로렌즈를 착용하면 집안이 사건 현장이 되고 주인공은 최첨단범죄 스릴러를 다루는 탐정이 된다. 사건 현장에 남겨져 있는 여러 가지 단서들을 추적하고, 장롱 뒤에 감춰져 있는 사건의 실마리를 찾아내고, 다른 사람들의 기억을 파헤치는 등 사건을 해결하기 위한 여러 가지 스토리텔링과 지략적인 게임을 제작해준다. 게임에 등장하는 홀로그램 인물들은 모두 실제로 곁에 있는 것처럼 상대의 눈을 응시하며 대화를 나눌 수 있다.

마이크로소프트의 윈도우 개발책임자인 테리 마이어슨(Terry Myerson)은 내년부터 모든 윈도우 10 PC에서 홀로그램 기술을 경험할 수 있도록 플랫폼을 제공한다고 발표했다. 인텔과 마이크로소프트가 혼합현실 디스플레이 발전을 위해 기술협력을 하고 있다고 한다. 2020년경이 되면 홀로그램기술은 실내에서뿐만 아니라 자동차 속에서도 그리고 제4차 산업혁명이 추구하는 스마트공장 속에서도 막강한 정보전달 수단으로 활용될 수 있다고 전망된다. 증강현실기술이나 혼합현실 기술의 발달은 공간이 스크린이 되는 기술이다. 디스플레이가 따로 필요 없게 된다. 또한 3차원 디지털 정보를 담아낼 수 있는 대량 데이터 전송에는 5세대 이동통신기술이 기반이 되어야만 가능해진다. 영화 속에서나 꿈꿀 수 있던 기술들이 혼합현실기술이 현실에서 점차 실체를 드러내 보이고 있음에 놀라지 않을 수 없다.

[관련이미지들]

https://www.microsoft.com/microsoft-hololens/en-us/apps/skype

https://www.microsoft.com/microsoft-hololens/en-us/apps/actiongram

https://www.microsoft.com/microsoft-hololens/en-us/apps/roboraid

https://www.microsoft.com/microsoft-hololens/en-us/apps/holostudio

https://www.microsoft.com/microsoft-hololens/en-us/apps/fragments