올해는 5G 원년이다. 5G네트워크를 대표하는 서비스로 가상현실(VR)과 증강현실(AR) 기술이 주목받고 있다. 영국 투자은행 디지캐피털은 글로벌 가상현실 시장이 2016년 50억 달러(약 5조6450조원)에서 2020년 1500억 달러(약 169조3500억원)로 30배 이상 커질 것으로 전망했다. 최근에는 증강현실 게임을 소재로 한 드라마 <알함브라 궁전의 추억>이 방영되면서 기술 트렌드를 증명하기도 했다.

또한 소셜네트워크 대표격인 페이스북은 가상현실 기반의 SNS플랫폼인 ‘페이스북 스페이스(Facebook Spaces)’ 서비스 론칭을 준비 중이다. 이 서비스는 물리적인 제약 없이 가상현실 속에서 가족이나 지인들과 시간을 보내며 소통하는 플랫폼이다. VR로 여행도 하고, 지구 반대편 사람과 원하는 장소에서 회의하는 일을 가능하게 해준다.

현재는 가상·증강현실 기술이 게임을 중심으로 많이 알려져 있지만, 앞으로는 군사·의료·보안 등의 분야로 확대될 것으로 예상된다. 다만 아직까지는 가상체험을 위해 필요한 장비가격이 고가인 점 등을 비롯해 기술한계로 인한 어지러움, 멀미 등의 부작용도 해결해야 할 문제다.

지난 1월 22일 서울 광진구 화양동 건국대학교 공학관에서 ‘다중 감각을 활용한 가상 감각 및 인지 기술’을 연구하는 김형석 교수를 만났다. 김 교수는 다중 감각을 이용해 가상 세계에서 좀 더 현실감을 줄 수 있는 기술 개발에 힘쓰고 있다. 공학을 전공한 김 교수는 최근 10년 간 심리학 서적을 더 많이 읽었다고 했다. 가상 경험의 현실성을 높이기 위해서는 사람의 심리나 뇌과학에 대한 스터디가 중요한 까닭이다. 김 교수는 “증강 현실 기술이 좀 더 발전하면 좋아하는 아이돌 그룹이 내 방에서 공연을 한다거나, 공간이나 객체의 느낌을 전달해주는 가상현실 플랫폼 등이 서비스되는 날이 올 것”이라고 말했다.

-‘다중 감각을 활용한 가상 감각 및 인지 기술’ 이란 무엇인가요?

“가상 감각 및 인지 기술은 가상·증강현실에서 촉각 등을 제공하기 위한 복잡한 장치가 없이도 유사한 경험을 가질 수 있도록 만들어주는 기술입니다. 예컨대 시각, 청각 등 다른 감각과 사용자의 행위를 바탕으로 특수한 장비 없이도 촉각이나 무게감을 제공할 수 있는 기술입니다.”

- VR과 AR의 차이는 무엇인가요?

“VR은 전체가 가상개체로 내가 있는 현실세계가 없어진다면, AR은 현실세계 위에 가상개체가 더해지는 것을 말합니다. 최근에는 AR의 개념을 확대해 현실공간을 확대하는 확장 현실이라는 형태도 나타나고 있습니다. AR 기술이 발전하면, 현실에서 문을 열면 전혀 다른 공간이 나오는 형태로도 갈 수 있고요. 예컨대 안경을 끼고 있으면 아이돌 그룹이 내 방에 와서 공연을 하거나 대화를 하는 것 등이 가능해질 수도 있습니다.”

- VR·AR에 있어 하드웨어와 소프트웨어라 함은 어떤 것을 말하나요?

“하드웨어는 HMD(Head Mounted Display)처럼 복잡한 장치가 될 수 있고, 스마트폰과 같은 단순한 장치도 될 수 있습니다. 가상경험을 만들기 위해서는 가상물체를 이미지화 해야 하고, 만지면 촉감을, 두드리면 소리를 생성하는 일을 소프트웨어가 하게 됩니다. 물체의 무게감 등 물리적 계산도 해야 하는 등 상당히 복잡한 계산이 필요하게 됩니다.”

- 기존의 가상·증강현실 기술은 주로 어디에 중점을 뒀나요?

“기존의 가상·증강 현실 기술은 사람이 갖는 다양한 감각(시각·청각·촉각·운동감 등)을 사람의 인지능력에 맞추어 고해상도의 정보를 빠르게 제공하기 위한 기술에 중점을 두고 연구 개발되어 왔습니다.”

- 기존 기술의 한계점은 무엇이었나요?

“기존의 접근 방법은 매우 높은 해상도의 정보를 매우 빠른 시간(예를 들어 촉각 정보의 경우 1mm 수준의 정보를 5khz 이상의 빠른 속도로 갱신)에 제공해야 합니다. 이를 위해서는 복잡한 장치가 필요하고, 하드웨어와 소프트웨어의 독립적인 접근 방법으로는 넘기 어려운 기술적 한계를 갖고 있습니다.”

- 관련 기술들이 발전할 수 있게 된 계기는?

“1990년대 AR·VR의 폭발적 성장 이후 90년대 말·2000년대 초의 소강기가 있었습니다. 수년전 페이스북의 Oculus 인수와 구글·삼성·MS 등의 대규모 투자를 통해 새로운 디바이스에 대한 개발이 많이 이루어졌고, 이를 통해 제공되는 몰입감의 수준이 많이 향상됐습니다. 그 결과 적용 가능한 응용의 범위도 넓어지고, 가상 감각과 같은 고수준의 인지 모델에 대한 연구와 적용이 가능하게 되었습니다.”

-5G 네트워크는 이 기술에 왜 중요한가요? 5G는 필수인가요?  

“5G 네트워크 망의 여러 특성 중 초저지연 연결기술과 동적인 망 구성 기술이 가상·증강 현실을 구현하는데 효과적입니다. 5G 망 없이 지역적인 구성으로도 충분히 구현 가능하지만, 5G망이나 최근 연구되는 네트워크 망의 특성이 결합되면 대규모 참여자가 있는 원격 공유 경험의 제공이 좀 더 쉽게 구현 될 수 있습니다.”

- 가상 감각이 발현되는 조건은? 

“감각의 종류와 환경에 따라 다르지만, 단기간에 중첩된 일관성 있는 경험을 통해 복합 감각의 정보가 마치 다른 감각의 정보인 것으로 인지 될 수 있습니다. 예를 들어 펜을 들고 있는 경우, 시각적·청각적 자극을 통해 펜의 진동과 같은 촉각적 자극과 유사한 경험을 제공받을 수 있습니다. 또한 지속적인 시각·청각적 자극의 지연 등으로 들고 있는 물체의 무게 감각을 실제보다 무겁게 느끼게 하거나 가볍게 느끼게 할 수 있습니다. 이렇게 연속되고 일관성 있는 복합 감각을 통한 경험의 제공을 통해 가상감각을 발현 시킬 수 있습니다.”

- 인지 모델은 무엇을 말하나요?

“뇌에 각인되는 새로운 감각을 메타 인지 혹은 인지 모델이라고 합니다. 메타 인지에 따라 우리가 느끼는 감각이 달라지 게 됩니다. 예를 들어 가상세계에서 시각적으로 내 몸이 아기 몸이 되었다고 가정했을 때 일정 기간 일관성 있게 감각적 피드백이 지속되면 인지모델 상에서 내 몸이 아기 몸이라고 인식하게 됩니다. 일관성 있게 여러 가지 감각적 정보로 들어오면 인지 모델이 쉽게 만들어지고 이를 통해 세계에 대한 인지도 바뀔 수 있습니다.”

- VR 체험을 해보니 가상인데도 현실과 같은 몰입감을 느낄 수 있었습니다. 어떤 기술 때문인가요?

“가장 기본적인 것은 사용자의 행위가 반영되고, 그 결과가 일관성 있게 사용자의 감각 기관으로 전달되기 때문입니다. 이 전달되는 정도가 현실과 유사하거나, 혹은 현실과 차이가 있더라고 일관성 있게 지속적으로 제공되면 사용자는 몰입감을 느끼게 됩니다.”

- 좀 더 구체적으로 가상세계에서 놀이기구를 타거나 높은 곳에서 떨어지는 상황에서 실제와 같은 공포감이 느껴지는 이유는 뭔가요?

“인지 모델 때문에 그렇게 느끼는 것입니다. 놀이기구 탈 때를 생각해 본다면, 가상세계에서 주어지는 시각적 감각을 통해 실제 몸은 움직이지 않지만 마치 자신의 몸이 빠르게 움직인다고 뇌가 느끼게 됩니다. 이러한 과정으로 가상체험을 하는 사람들이 두려움을 느끼게 되는 것입니다. 이를 잘 활용하면 고소공포증, 폐소공포증 등에 대한 저감치료 등에 활용이 가능합니다.”

- 멀미를 줄일 수 있는 기술에는 어떤 것들이 있나요?

“요즘에는 멀미 저감 기술이 꽤 많이 나왔습니다. 사람은 불안하게 느끼는 움직임을 감지할 때 멀미를 느낍니다. 생태학적으로 우리 눈의 가운데 초점 부분은 색깔에 민감하고, 가장자리는 움직임에 민감합니다. 이 특징을 이용해서 움직임에 민감한 가장자리 부분의 해상도만 확 낮추는 기술이 있습니다. 또한 나의 실제 움직임 보다 영상의 속도가 느리면 어지러울 수 있습니다. 이것을 방지하기 위해 미리 계산해서 움직임을 준다던가 하는 기술도 있습니다. 따라서 인지 모델을 잘 이해할수록 멀미를 줄인다던가, 현실감을 높여줄 수 있습니다.”

- 해당 장치들의 착용이 쉬워지고 단순해질 수 있는 것은 어떤 점이 개선됐기 때문인가요?

“첫째는 하드웨어와 소프트웨어 기술의 발전으로 무게가 가벼워지고 해상도 등이 높아졌으며, 빠른 계산이 가능해진 것입니다. 이와 함께 인지 모델에 대한 연구가 오랜 기간 축적돼 다양한 수준의 최적화가 이루어졌습니다. 예컨대 현재 시장에 나와 있는 대표적인 HMD의 경우 사용자는 느끼지 못하지만, 다양한 인지적 보완장치가 소프트웨어·하드웨어적으로 포함되어 있습니다. 이를 통해 멀미 등의 부작용이 적고, 몰입감을 높일 수 있게 되었습니다. 이에 대한 연구는 점점 더 많이 요구되고 있으며, 산업 적용 정도가 더 커지고 있습니다.”

- 한계를 극복하기 위한 연구로는 어떤 것들이 있나요?

“하드웨어의 해상도와 속도를 높이기 위한 연구와 소프트웨어적인 시뮬레이션·렌더링 속도를 높이기 위한 연구가 많이 수행되어 왔습니다. 이와 함께 한계를 극복하기 위해 가상세계 표현의 복잡도를 낮춰 인지적으로 유사하게 느끼도록 하는 연구들이 함께 진행되어 왔습니다. 이러한 접근 방법과 함께 다중 감각과 사용자의 행위를 결합해 경험을 통한 인지 모델을 활용해 가상감각이 발현되도록 하는 연구가 최근 진행되고 있습니다.”

- 그 중 교수님께서는 어떤 연구를 집중적으로 하셨나요? 연구에 대한 설명 부탁드립니다.

“저는 가상 인지모델을 위한 ‘Believability’ 연구를 중심으로 진행하고 있습니다. Believability는 기존 정보의 현실성에서 경험의 현실성으로 개념을 전환하는 연구입니다. 가상세계에서 좀 더 현실감을 느끼게 하려면 무엇을 해야 할까에 관심을 가졌습니다. 하나의 이미지만 시각적으로 보여주는 게 아니라 촉각·후각 등의 상호작용을 통해 행동에 따른 반응을 다르게 보여주면 가상세계를 다르게 느낄 수 있습니다. 예를 들어 특정 무게의 물체를 표현할 때 그림을 느리게 움직여주면 무게가 무겁다고 느끼는 등 상호작용을 이용하면 효과를 높일 수가 있습니다. 구체적으로는 사람의 표현에 있어 좀 더 현실적인 표현을 위한 표정 및 모션에 대한 연구, 물리적 특성의 표현을 위한 감각의 정확도에 대한 연구, 가상 촉감과 무게감을 통한 경험의 강화 연구, 상호작용을 통한 가상 멀미의 감소와 가상 인지의 체화 연구를 수행하고 있습니다.”

- 기술 개발단계는 어디쯤 와 있나요?

“가상 감각에 대한 기술개발은 아직은 개념적인 연구가 중심이 되고 있습니다. 그렇지만 멀미나 특정 감각에 대한 강화 경험의 제공 기술은 교육·훈련 등의 분야에서 적극적으로 적용이 시도되고 있습니다.”

- 기술적으로 풀어야할 숙제는?

“가상 감각은 사용자의 인지적 특성에 기반합니다. 실제 실험에서도 사용자의 연령, 신체적 능력, 인지적 능력 및 사전 경험에 따라 다른 결과를 보여주기도 합니다. 사용자별 차이를 잘 모델하고 이에 따른 적합한 제공 방법을 찾는 것이 풀어야할 주요한 숙제입니다.”

- 관련 연구를 할 때 어디서 영감을 받으시나요?

“심리학책을 많이 읽고, 철학관련 도서도 많이 읽습니다. 지난 10년간 제가 본 책의 절반 이상이 심리학책입니다. 심리학 전공자는 아니지만 관련 대중서적이라도 보면서 많은 아이디어를 얻습니다.”

- 현재는 기술이 게임을 중심으로 발현되고 있는데, 그 외에 어떤 분야에 적용 가능한가요?

“군사훈련을 포함한 훈련·교육 분야에는 오랜 기간 동안 꾸준히 적용되어 왔습니다. 군사훈련을 할 때 보통 헬기나 탱크를 직접 운전하는 것은 비용이 많이 들기 때문에 시뮬레이터를 통해 탱크에 탄 것처럼 느끼게 하거나 실제 전쟁터처럼 느낄 수 있도록 하는 훈련이 실제로 진행되고 있습니다. 원자력발전소 처럼 현장에 들어가기 어려울 때 VR로 훈련을 시키는 경우도 있습니다. 심해 장비나 우주 장비 혹은 소방 방재 등의 극한 상황이 훈련 할 때 쓰이고 있습니다. 최근에는 적용의 범위가 의료 분야로 크게 넓혀지고 있습니다. 대표적인 사례로 재활이나 수술·진단 보조 등에 사용되는 것을 들 수 있겠습니다. 의료 실습 등에도 VR로 가이드를 해주는데 쓰입니다. 심리 치료에도 많이 쓰이고 있습니다. 고소공포증, 폐소공포증 등을 VR 등을 통해 많이 완화한다는 결과도 있습니다. 이와 함께 스포츠·관광 분야나, 설계·검증 분야, 방송·미디어 분야에도 적용이 크게 늘어나고 있습니다.”

- 해당기술이 미래 100대 기술로서 앞으로 어떤 파급효과를 가지고 있다고 생각하시나요?

“현재의 가상·증강현실은 몰입감 높은 체험을 위해 복잡한 장치를 많이 요구합니다. 본 기술은 이러한 한계를 넘어 단순한 장치만으로도 높은 수준의 몰입감을 느낄 수 있게 합니다. 이를 통해 다양한 환경의 사용자가 함께 유사한 경험을 공유하고 소통하는 것이 가능해 질 것으로 기대합니다.”

- 5G 시대에 어떤 서비스들이 만들어질 것으로 기대하시나요?

“가상현실 유튜브를 만들어보려고 합니다. 최근 미디어 흐름이 1인 방송 쪽으로 빠르게 바뀌어 가고 있습니다. 영상을 보여 주는 게 아니라 경험을 전달해 주는 방식으로 강화될 수 있을 것입니다. 하늘을 나는 경험을 할 수 있게 하거나 여행 가서 좋은 경치를 누군가에게 전달해주고 싶은데 내가 느낀 경험과 비슷하게 느낄 수 있도록 해주는 등 경험 플랫폼을 만드는 것이죠. 공간의 느낌, 객체의 느낌을 주는 것이 가능한 서비스를 기대할 수 있겠습니다.”

------------------------------------------------------------------------------------------------------------------

김형석 교수는?

2017~ 인도 VIT 겸임교수

2017~ 한국정보과학회 CG&I 소사이어티 회장

2012 한국HCI학회 부회장

2010 한국HCI학회 논문지 편집위원장

2006~ 건국대학교 소프트웨어 학과 교수

2006 Associate editor, The visual computer journal

2003 Senior researcher, MIRALab, University of Geneva

2003 한국과학기술원 전산학 박사

1996 한국과학기술원 전산학 석사

1994 한국과학기술원 전산학 학사