메타버스 환경: 확장현실(XR), 가상현실(VR), 증강현실(AR), 혼합현실(MR)

안녕하세요 에듀몬입니다. 코로나19로 촉발된 변화된 일상은 우리 삶에 많은 변화를 가져왔습니다. 사회, 교육, 문화, 예술 등 거의 모든 분야가 예외가 없을 정도로 많은 변화를 겪었는데요. 이처럼 기존의 대면으로 이루어지던 많은 것들이 비대면으로 이루어지면서 가상현실 기술이 주목을 받고 있습니다. 이번 시간에는 메타버스 환경을 이루는 다양한 기술들에 대해 알아보도록 하겠습니다.

 

 

1. 확장현실(XR)의 개념

 

  확장 현실 (XR,Extended Reality)이란 기존의 실감 기술중 증강현실(AR,Augmented Reality), 가상현실(VR, Virtual Reailty), 혼합현실(MR,Mixed Reality)을 모두 포함하는 용어로서, 다른 말로 ”복합융합기술“ 이라고도 합니다.

 

 

 

  컴퓨터 기술에 의해 생성된 모든 실제 및 가상 결합 환경 속에서 인간과기계의 상호작용을 나타내는데, 가상현실, 증강현실, 혼합현실의 교집합이라 할 수 있으며, 위 세 가지 기술 들을 전부 총망라하여 현실 세계 위에 가상현실 기술들을 접목하는 기술과 서비스를 뜻합니다. 비대면 시대의 현대인들은 과거의 단순한 미디어 콘텐츠에 의해서 일방적으로 정보를 전달받은 형태를 넘어 다중경험을 원하게 되었는데, 실감 미디어 콘텐츠는 초고화질, 몰입형, 실감형으로서 이에 가장 부합 하는 콘텐츠로 주목받고 있습니다.

  실감 기술을 이용한 실감 미디어 콘텐츠는 실재감, 상호작용성, 몰입감의 세가지 특성이 있는데, 대표기술인 확장 현실은 현실 세계와 가상세계가 상호연결되어 확장된 오감을 제공해주어 완전한 몰입감을 느끼게 해줍니다. 가트너(Gartner)는 2018년 10대 기술 추세 중 하나로 몰입경험을 선정하였는데, 확장 현실 기술이 신체 감각 채널 및 주변 환경 센서와 통합되어 미래 인터페이스로 발전할 것으로 예측했고, 이는 사용자들이 경험할 수 있는 실재감과몰입도가 현저히 높기 때문이라고 하였습니다. 특히 확장 현실의 상호작용성이 중요한 이유는 현재의 기술에서 가상과 현실의 기술적인 틈새를 자연스럽게 메워줄 수 있고, 가상과 현실의 매끄러운 연결의 핵심 요소이기 때문입니다.

  확장 현실은 편의상 증강현실과 같이 분류되었으나, 최근 증강현실과 가상현실의 기술과 콘텐츠가 대중화되면서 이론적으로만 존재하던 확장 현실의 개념이 재정립되어 그 의미가 구체화 되고 있으며, 오늘날 우리의 삶에서 가상과 현실의 소통과 연결은 불가피해 보이고, 결국 가상과 현실의 기술적인 방향은 다중경험을 포함한 확장 현실로 가게 될 것으로 예상하고 있습니다. 참고로 Industry Arc와 KT 경제연구소는 세계 확장 현실 시장이 2015년 4,590억 원에서 2021년에는 1조 980억 원으로 빠른 성장률을 보일 것으로 분석했는데, 가상현실 및 증강현실의 발전과 함께 향후 연평균 69.7%의 성장률을 보이며, 지속해서 성장할것으로 예상했습니다.

  확장 현실의 활용범위는 넓고 다양한데 “ 유망분야는 교육 훈련, 제조, 쇼핑, 의료, 국방” 등으로 전망되고 있으며, 기술은 문화, 제조, 의료, 건축 등 다양한 산업 분야에 융합되고 있습니다. 확장 현실은 급변하는 디지털 시대와 코로나로 인한 비대면 시대에 현대인들에게 직접 접촉 없이 다양한 경험을 할 수있는 환경을 만들어 주며, 가상과 현실 센서, 사물인터넷, 인공지능 등의 실감기술이 융복합되면서 더욱 발전할 것으로 예상합니다.

  확장 현실의 발전과 그에 따른 다양한 분야에서의 활용은 계속해서 증가할 것이고, 공연예술에서도 확장 현실을 활용한 다양한 형태의 공연이 기획되고, 제작될 것으로 예상합니다. 이는 코로나로 인하여 우리 사회는 비대면 문화를 만들어 냈고, 여가생활을 즐기는 방식에도 변화가 생겨났으며, 공연예술도 기존의 오프라인 공연을 온라인 서비스로 변화를 주게 되었기 때문입니다.

  확장 현실의 상호작용성은 실재감을 기반으로 한 가상공간 경험을 연결해주는 것으로서 현대인들은 사용자 본인이 직접 참여가 가능하고, 상호작용을 할 수 있는 콘텐츠 융합기술을 원하고 있는 시대에 부응하고 있습니다. 관객들이 참여하고 즐길 수 있는 공연예술에서는 확장 현실에 기반을 둔 기술의 발전에 적극적이고 능동적인 콘텐츠 개발을 모색해야 할 필요성을 느끼게 하는 부분입니다. 그런 의미에서 확장 현실을 통한 콘텐츠의 경험은 기존의 2D 온라인 서비스보다 풍부한 정보를 받고, 대면 상황에서 경험하는 것과 같은 몰입감 높은 경험을 받을 수 있으며, 제한된 장소에서 다양한 체험 및 경험이 가능하다는장점을 갖고 있습니다.

  4차 혁명으로 인하여 발달한 최첨단의 신기술인 인터넷(2G~3G), 2D, 인공지능 기술이 5G 네트워크, 3D, AI 등 기술의 발전도 확장 현실 활용을 더욱 활발하게 만들고 있습니다. 그러나 온라인 공연이 오프라인 공연을 대체하기에는 실제로경험하는 것과 같은 몰입감을 받기에는 한계가 있으며, 확장 현실이 활성화되기위해서는 더욱 상향된 IT 기술 발전의 가속화가 필요합니다. 더불어 최근 몇 년간 실감 기술 시장이 기술을 중심으로 한 발전이었다면, 향후 확장 현실과 같은몰입형 기술과 더불어 실감 기술 콘텐츠를 중심으로 한 콘텐츠 제작 분야의 적극적이고 능동적인 연구도 필요합니다.

 

 

 

 

2. 확장 현실(XR)의 범위

 

  확장 현실은 가상현실, 증강현실, 혼합현실을 모두 포함하는 용어이며, 메타버스를 구현하는 대표적인 범용기술입니다. 현실 세계를 차단한 디지털 환경을 구축하는 가상현실, 현실 세계 위에 가상 정보를 입혀주는 환경을 구축하는 증강현실, 가상현실과 증강현실을 합쳐 현실 세계와 가상 세계의 정보를 결합하여 창출한 혼합현실 등으로 이루어져 적용사례도 다양하다고 할 수 있습니다. 아래의 <표>는 확장 현실에 포함되는 기술들을 정리한 것입니다.

 

 

< 확장 현실 포함 세 가지 기술의 특징 >

용어	개념	적용 사례
가상현실 Virtual Reality	사용자가 컴퓨터에서 만든 3D 가상공간에서 인간의 오감을 통해 몰입감을 느끼며 실제로 그 공간에 존재하는 것과 같은 현실감을 느끼게 하는 기술	게임, 범죄조사 등
증강현실 Augmented Reality	현실과 가상의 정보를 합성해 사물이나 이미지의 정보를 증강 시켜 주는 것으로 인간의 감각과 인식을 확장한다	3D기술 홀로그래픽
혼합현실 Mix Reality (AR+VR)	인간이 지닌 오감의 능력을 극대화하여 사용자가 추가적인 인지나 육감이 생긴 것처럼 느끼게 하는 차세대 융합기술	드론 조종

 

 1) 가상 현실(Virtual Reality, VR)

 

  가상현실(VR)은 현 실세계의 환경이나 상황을 컴퓨터 그래픽을 활용하여 만든 가상의 세계에서, 현실 세계의 주변 환경과 상황을 상호작용하고 있도록하는 사람과 컴퓨터 사이의 인터페이스 기술 자체를 의미하며, 컴퓨팅 기술을 기반으로 시각, 청각, 촉각, 후각, 미각과 같은 인간의 오감을 이용한 인간과 컴퓨터 간의 연결 장치로 정의할 수 있으며, 가상현실은 실재감을 느끼는 체험을 통해 시공간의 제약을 받지 않습니다.

  실감 미디어 기술 발전의 계기가 된 기술이며, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 다양한 체험을 할 수 있도록 가상현실 기술을 사용하며, 가상현실을 체험하는 사용자는 가상세계를 통하여 실시간으로 컴퓨터와 상호작용하며, 컴퓨터와 대화 하고, 이에 몰입하게 됩니다. 시각의 잔상형상을 일으키고 있는 착시효과를 이용하여 영상이 제작되고, 깊이를 느끼게 되어 영상의 이미지는 모양에서 부피가 있다고 판단하는데, 이러한 잔상현상을 철저히 이용한 영상이 가상현실입니다.

  가상현실 체험은 머리에 장착하는 HMD라는 디스플레이를 사용하는데, 이는 1980년대 말부터 190년대 중반까지 1차 가상현실의 붐을 일으킨 가상현실의 아버지라 불리는 미국의 ‘재런 래니어’에 의해서 시작되었으며, 가상현실의 4가지 중요한 특성에는 “몰입감(현장감)”, “상호작용”, “하드웨어와 소프트웨어”, “자율성”이 있습니다.

  가상현실은 1980년대 이후 컴퓨터 그래픽을 비롯한 다양한 공학 기술의 등장과 그 발전의 맥락을 같이 하나, 최초로 활용된 것은 1934년 미군 공군에의해서 2차 세계대전 당시 조종사를 양성하기 위한 비행기 조종술 교육용이었습니다. 가상현실의 초기 개념은 1950년대 “모튼 힐릭”이 쓴 초기 공상과학 소설"체험 극장 (la réalité virtuelle)"을 통해서 생겨났으며, 이후 가상현실 산업은 1970년부터 1990년까지 비행 시뮬레이션, 의료, 군사 훈련 목적 등으로 주로 사용되었습니다. 가상현실에 대한 본질적 개념을 하나로 정리하기는 쉽지 않으며, 현재까지는 기술공학적 논의를 토대로 “컴퓨터가 창조하는 실제 세계와 유사한3차원 환경”이라고 일반적으로 정의하며, ‘사이버 공간’ 또는 ‘가상세계 ’등으로 도 다양하게 표현되고 있습니다.

  4차 산업혁명 시대를 맞이해 가상현실은 인공지능, 빅데이터, 사물인터넷과 더불어서 실감형 미디어의 대표주자로 여겨지며, 인간과 인간, 인간과 컴퓨터의 상호작용을 높일 수 있는 차세대 핵심 미디어로서 주목받고 있습니다. 전자통신업계 관계자들에 의하면 가상현실 기기와 스마트폰, 소셜네트워크서비스가결합한 솔루션은 개인뿐 아니라 정부, 기업, 기관의 업무환경에도 혁명이 일어날 것이라고 했습니다.

  가상현실의 특성은 강력한 실재감과 그로 인한 몰입감과 상호작용성이 핵심으로 바탕이 되고, 제한된 공간에서도 시각과 청각을 사실과 유사한 방식으로 체험할 수 있게 하는 강한 현실감을 제공합니다. 영화의 경우에는 평면적인 2차원의 깊이의 사물의 이미지를 시각의 잔상형상을 일으키고 있는 착시효과를 이용하여, 3차원으로 느끼는 영상을 제작함으로써, 가상현실을 구현할 수 있습니다. 공연예술도 예외는 아닙니다. 공연예술에서는 가상현실을 활용한 영상을 통하여 다양한 작품들을 선보였으며, 이는 관객들이 공연에 몰입하는 실감 나는경험을 하게 함으로 공연의 완성도를 높여줬습니다. 이미 1990년대에 가상현실 산업이 엔터테인먼트 중심을 넘어서 영향력이 강하고 넓어질 것이고, 가까운 미래에 가상현실 시스템이 우리 삶의 모든 영역에 영향을 끼칠 것이며, 그것이 미래 핵심기술로 자리 잡을 것이라 예상하였습니다.

  우리나라도 가상현실은 게임과 영화 등의 엔터테인먼트 산업뿐만 아니라, 교육, 예술, 관광, 헬스 등 사회 전 영역에서 적용될 것으로 예측해왔는데, 최근에는 영화, 연극, 콘서트 등 다양한 공연예술에서도 활용이 이루어지고 있습니다. 이제는 가상현실이 단순히 영상을 활용한 공연의 효과를 넘어서 메타버스 환경을 통한가상공간을 통하여 실감을 체험하고 콘텐츠와 감정을 공유하는 방법으로 나아가야 할 것입니다.

 

 

 2) 증강현실 (Augmented Reality, AR)

 

  증강현실(Augmented Reality, AR)이란, 현실 세계 위에 네트워크화된 정보나 가상의 정보를 합성하여 그것이 실제 세계에 존재하는 것처럼 현실을 증강시킨 세계를 뜻하며, 현실의 배경에 3차원 가상 이미지를 겹쳐서 영상으로 보여주는데 오감과 모두 밀접한 관련이 있으며, 시각적 감각에 많이 의존하고 있다고 볼 수 있습니다.

  로날드 아즈마(Azuma,1997)는 증강현실의 특징으로 현실과 가상의 결합, 실시간 상호작용 가능, 3D 가상의 물체가 현실 세계에서 구현되어야 한다고 했으며, 증강현실이라는 용어는 1990년 미국 보잉 항공사 톰 코델(TOM CAUDELL) 이 항공기 조립과정 설명에서 처음으로 사용되었습니다. 그 후 1992년 미 공군의암스트롱 연구소에서 개발된 증강현실 체험 시스템이 엔터테인먼트와 게임 사업에 처음 도입된 이후, 현재까지 다양한 분야에 이르기까지 확산하였습니다.

  현실에 가상현실을 덮어 표현되는 것을 증강현실이라고 하며, 가상 속에 현실이 표현되는 것을 증강 가상이라고 하는데, 가상현실과 유사한 듯하지만, 현실에 존재하지 않는 가상공간을 화면을 통해 몰입하도록 하는 가상현실(VR)과는 구분됩니다. 실제 환경을 기반으로 하는 증강현실은 실제 환경에서는 제공되지 못하는 정보들을 가상의 영상으로 제공하는 것이므로 사람들은 더욱 가시화된 정보를 이용할 수 있으며, 스마트폰에 증강현실을 활용한 앱을 설치함으로 증강현실을 직접 체험할 수 있는데, 현실 세계를 기반으로 하기에 현실감이 뛰어나다는 특징이 있으며, 이는 사용자의 경험을 더욱 풍부하게 만들어 줍니다. 최근 스마트폰 보급률이 높아지고 사용자 수가 늘어남에 따라서 증강현실의 이용이 늘어나고 있으며, 이외에도 증강현실은 다양한 분야에서 활용되고 있습니다.

  증강현실은 외부 현실과 밀접한 상관관계를 맺음으로 그 기능과 효과가 철저하게 현실에 반영되어야만 하는데, 실제로 외과 물리치료 등 현실에서의 효과를 극대화하기 위한 수단으로 활용되기도 합니다. 증강현실은 실제와 가상의 이미지를 합성하여 표현하고자 하는 것을 구현함으로 현실감과 현장감을 극대화하며, 이는 인간의 감각과 지각력을 높여주며, 정보에 대한 몰입감과 물리적 공간에서 발생하는 현상들에 대한 이해를 높여줍니다. 이러한 증강현실의 특징이나 장점은 특히 문화예술 분야에서도 많은 활용되고 있으며, 다양한 형태의 응용을 통하여 공연, 전시, 행사 등에 적용되고 있고, 엔터테인먼트 분야에서도 공연및 패션쇼 가상체험, 휴대용 위치기반 게임, 증강현실 스포츠 등을 선보이는데, 이는 증강현실 특성을 이용한 오락성을 극대화한 경우라고 볼 수 있습니다. 대표적인 게임으로는 ‘포켓몬고(Pokemon Go)’가 있는데, 이 게임은 사용자가 휴대전화를 사용하여 휴대전화 속에 비친 현실 세계에 출현하는 캐릭터를 수집하는 형식의 게임입니다.

  공연예술 콘텐츠에서도 증강현실이 제작형식의 하나의 방법으로 활용되어서 무대 위에서 다양한 효과를 통하여 관객들에게 몰입감을 높여주는 동시에 흥미로운 볼거리를 제공하고 있는데, 예를 들어 콘서트의 경우 가수 없이 공연이 진행되거나, 가상의 인물이 노래하기도 합니다. 뮤지컬에서는 소품 이용도 증강현실을 이용해서 효과를 나타내는데, 이 모든 것들이 무대를 다양하게 만들고, 결국에는 풍부한 공연으로 이어지게 하는 증강현실 장치입니다.

 

 

 3) 혼합현실 (Mixed Reality, MR)

 

  혼합현실(Mixed Reality)이란 가상현실과 증강현실이 혼합된 것을 의미하는데, 현실 공간과 가상공간을 혼합하여 새로운 공간을 구축하고, 가상현실의 몰입감과 증강현실의 상호작용이라는 특징을 융합한 것입니다. 가상현실의 기술적인한계와 증강현실의 현실과 가상의 이질감을 극복해 현실감을 극대화하는 기술로서 현실을 기반으로 하는 증강현실과 가상에 현실정보를 부가하는 증강 가상현실 (Augmented Virtuality, AV)의 의미를 지니고 있으며, 현실과 가상이 자연스럽게 연결된 스마트 환경을 제공함으로 사용자는 풍부한 체험을 하게 됩니다.

  혼합현실(Mixed Reality)은 토론토 대학 (University of Toronto)의 스티브만(Steve Mann) 교수가 처음으로 제안한 개념으로, 가상 세계와 실제 현실세계 환경에서 증강 가상과 증강현실의 혼합으로 나타냅니다. 혼합현실은 가상, 증강현실이 ‘완벽한 가상세계’를 구현하기엔 부족하고, 사용자가 이동하거나 동시에 같은 화면을 보며 감정을 공유하는 것이 힘들다는 단점을 보완하기 위해서개발된 기술로서, 현실 상호작용의 증강현실과 몰입감의 가상현실의 장점을 살려서 실감 나는 세계를 보여줍니다. 특징으로는 사용자 입력 및 환경 정보의 상호작용으로 실시간 반응이 가상세계에 반영되고, 다수의 사용자가 동시에 가상공간에서 서비스를 이용할 수 있으며, 실제 세계와 가상세계 및 디지털화된 정보를 통한 경험을 통해서 사용자의 현실감을 높이는 동시에 훌륭한 대화형 환경을 제공합니다.

  혼합현실은 가상 물을 구현하는 구현 기술과 실시간 정확한 상호작용에 대한 두 가지 기술이 핵심인데, 혼합현실 공간 속에서 새롭게 구축된 컴퓨터그래픽, 소리 등의 정보를 실시간으로 융합하여 사용자와의 상호작용이 가능하도록 다양한 디지털 정보의 효용성과 사용성을 극대화 할 수 있는 차세대 정보처리 기술입니다. 혼합현실의 연구와 개발도 오랜전부터 진행됐으며, 다양한 분야에서도 유용하게 활용되고 있으며, 공연에서도 혼합현실이 기술은 콘텐츠를 관객들에게 흥미롭게 전달하는데 활발하게 적용될 수 있습니다.

 

 

※ 참고문헌: 메타버스 환경에서 확장 현실(XR) 기술을 적용한공연예술에 관한 연구(양수진, 2022)