Review (Special Issue)

Journal of the Korean Society of Mineral and Energy Resources Engineers. 31 October 2019. 457-467
https://doi.org/10.32390/ksmer.2019.56.5.457

ABSTRACT


MAIN

  • 서 론

  • 스마트 글래스의 원리

  • 대표적인 스마트 글래스 제품들의 특징

  •   Google Glass Enterprise Edition 2

  •   Microsoft Hololens 2

  •   Epson Moverio BT-350

  • 스마트 글래스의 분야별 활용사례

  •   의료분야 활용사례

  •   관광분야 활용사례

  •   교육분야 활용사례

  •   물류분야 활용사례

  •   시설관리분야 활용사례

  •   치안분야 활용사례

  •   전자상거래 분야 활용사례

  • 광업 분야 VR 및 AR 기술 활용사례

  • 토 의

  • 결 론

서 론

스마트 글래스(smart glass)는 전방의 사물을 볼 수 있는 안경 본연의 기능과 컴퓨터의 기능을 동시에 제공하는 장치로서, 얼굴에 착용 가능한 웨어러블(wearable) 디바이스의 하나이다. 2012년 구글(Google)이 ‘구글글래스’ 공개한 이후 스마트 글래스는 대중들에게 관심을 받기 시작하였다. 이후 마이크로소프트(Microsoft), 앱손(Epson) 등의 기업들도 스마트 글래스 제품을 시장에 출시하였으며, 페이스북(Facebook), 삼성, 애플(Apple) 등도 스마트 글래스 기술개발에 착수했다.

스마트 글래스는 외안경 또는 쌍안경 형태의 디스플레이를 통해 사용자에게 원하는 정보를 제공한다. 블루투스, Wi-Fi 등과 같은 무선통신 기술을 지원하며, 인터넷 연결을 통해 실시간으로 정보를 검색하고 공유할 수 있다. 또한, GPS(Global Positioning System)를 통한 위치 추적 기능을 제공하여 위치정보 기반의 다양한 애플리케이션(앱) 개발이 가능하다. 사용자와 스마트 글래스 간의 의사소통을 위한 인터페이스로는 터치 버튼이 사용되거나 음성인식을 통한 자연어 명령 처리 방법이 사용되고 있다. 장치 정면에 탑재된 카메라를 이용하면 주변 환경의 사진이나 영상 자료를 실시간으로 획득할 수 있다.

스마트 글래스는 애플리케이션 개발을 통해 사용자에게 다양한 서비스를 제공할 수 있다. 예를 들어, 병원에서는 두 손을 사용하여 수술을 진행하고 있는 외과 의사에게 스마트 글래스를 통해 환자의 상태에 대한 정보를 효과적으로 전달할 수 있다. 또한, 택배 회사와 같은 물류 분야에서는 스마트 글래스를 착용한 작업자가 두 손을 자유롭게 활용하면서 동시에 물품의 운송 정보를 확인할 수 있으므로 업무 효율성을 개선할 수 있다. 또한, 비닐하우스나 식품저장 창고와 같은 곳에서도 작업자들이 스마트 글래스를 착용하면 두 손으로 작업을 수행하면서 동시에 주변의 스마트 센서들로부터 수집되는 온도, 습도 등 환경정보를 실시간 확인할 수 있다.

타 산업 분야와 마찬가지로 광업 분야에서도 스마트 글래스를 효과적으로 활용한다면 현장 작업자의 생산성과 안전성 개선에 도움이 될 것으로 판단된다. 그러나 현재까지 광업 분야에 스마트 글래스가 활용사례는 찾아보기 어려운 실정이다. 광업 분야에서 이 기술을 효과적으로 활용하기 위해서는 먼저 스마트 글래스의 특징을 이해하고, 타 산업 분야에서의 활용사례들을 유형별로 구분하여 살펴볼 필요가 있다.

본 논문에서는 광업 분야에서 스마트 글래스 기반의 응용 시스템 또는 애플리케이션 개발을 위해 스마트 글래스의 특징과 다양한 활용사례를 조사/분석한 결과를 제시한다. 문헌 조사를 통해 스마트 글래스의 원리와 대표적인 제품들의 특징을 정리하고, 의료, 관광, 교육, 물류 등과 같은 분야에서의 활용사례를 분석하였다. 또한, 광업 분야에서 스마트 글래스를 도입할 때 예상되는 문제점들을 고찰하였다.

스마트 글래스의 원리

스마트 글래스의 원리를 이해하기 위해서는 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 개념에 대한 설명이 필요하다. VR은 컴퓨터 시뮬레이션을 통하여 실제와 유사하지만, 실제와는 분리된 환경을 의미한다. 최근 컴퓨터 3D 그래픽 기술과 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치의 발전은 높은 몰입감을 가진 VR 기술의 개발을 가속하고 있다. 가상 환경을 대상으로 하는 VR과 달리 AR은 우리 주변의 실제 환경에 컴퓨터 그래픽을 덧입혀서 추가적인 정보를 제공하는 기술이다. 국내외적으로 큰 이슈였던 나이앤틱(Niantic, Inc.)의 포켓몬 고(Pokémon GO)가 AR 기술을 적용한 대표적인 게임이다. MR은 VR과 AR이 복합된 환경이다. 즉, 실제의 환경에 현실과 상호작용이 가능한 컴퓨터 그래픽이 추가된 환경을 의미한다. 실제에 기반하고 있다는 측면에서는 AR과 유사하나, 현실과 상호작용을 한다는 측면에서 차별화될 수 있다(Gintautas and Hubler, 2007; Milgram and Kishino, 1994). Fig. 1은 VR, AR, MR 환경의 차이를 보여주는 예시이다.

http://static.apub.kr/journalsite/sites/ksmer/2019-056-05/N0330560506/images/ksmer_56_05_06_F1.jpg
Fig. 1.

Examples of virtual reality, augmented reality and mixed reality (image source: Medium, 2019).

스마트 글래스는 MR 환경을 실현할 수 있는 핵심 장치라 할 수 있다. 기본적으로 스마트 글래스는 안경 형태의 프레임을 가진 투시형 HMD 장치로 분류된다(Park et al., 2013). 따라서 스마트 글래스를 구현하기 위한 핵심 원리는 현실의 정보를 투시하는 방법에 있으며 이는 크게 비디오 투시(video based see-through)과 광학적 투시(optical see-through) 방식으로 분류될 수 있다. 비디오 투시 방식은 디지털 이미지를 안경에 투시되는 영상에 함께 렌더링하여 MR 환경을 구현한다. 광학적 투시 방법은 현실의 정보를 데이터처리 없이 그대로 전달하기 때문에 디지털 이미지만 안경에 함께 투시하면 된다.

비디오 투시 방식은 기술적으로 간단하게 구현할 수 있으나 현실성을 높이기 위해서는 고해상도 영상에 대한 대용량 데이터 처리가 필요하다. 이는 스마트 글래스에 높은 수준의 연산 및 그래픽 처리 성능을 요구하게 된다. 스마트 글래스의 처리 성능이 충분하지 못하면 데이터처리에 많은 시간이 소요되어 투시 영상에 지연이 발생하며, 이는 사용자의 몰입을 방해하는 큰 단점으로 작용한다. 광학적 투시 방식은 실제 안경과 같이 광학 기술을 바탕으로 하며, 대용량의 데이터처리 없이 자연스럽게 현실을 투시할 수 있다. 따라서 광학적 투시 방식이 스마트 글래스에 보다 적합한 기술로 평가되고 있으며, 이를 적용한 HMD 장치를 총칭해서 광학 HMD로 분류하기도 한다(Sutherland, 1968).

광학적 투시 방법은 마이크로 디스플레이를 활용하여 디지털 이미지를 표현하고, 이를 사용자의 눈으로 전달하는 방법에 따라 크게 곡면 또는 평면거울을 활용한 방식과 도파로(waveguide) 또는 도광(light-guide)을 이용한 방식으로 분류될 수 있다(Hoshi et al., 1996). 거울을 활용한 방식은 구글글래스를 비롯한 다양한 스마트 글래스 제품에서 활용되는 방식으로 프로젝터(또는 마이크로 디스플레이)에서 발생한 디지털 이미지 정보를 거울의 반사를 통하여 눈에 전달하는 전통적인 방식이다. 작동원리가 단순하여 작고 가벼운 스마트 글래스 제품을 만들 수 있는 장점이 있지만, 해상도가 낮고 왜곡이 심하며, 시야각(Field Of View, FOV)에 한계가 있다는 단점이 있다. 최근에는 평면거울 대신 다수의 곡면 거울을 조합하여 해상도와 시야각의 문제를 일부 극복한 제품들이 개발되었으나, 이로 인하여 제품의 두께가 두꺼워지고 이미지의 선명도가 감소하는 등의 한계점들은 여전히 해결해야 할 과제로 남아있다.

도파로 또는 도광을 이용한 스마트 글래스 개발 방식은 활발하게 연구되고 있으며, 거울 방식의 단점인 낮은 시야각과 해상도의 문제를 합리적인 수준에서 해결할 수 있기에 최근 주목을 받고 있다. 특히, 도파로 기술을 사용하면 전자광학시스템의 위치를 얼굴 측면으로 옮길 수 있어 상대적으로 넓은 시야 확보가 가능하다. 그러나 현재까지는 이론상으로만 존재하여 실제로 검증된 제품이 출시되지 않았다(Sarayeddine and Mirza, 2013).

도파로 기술은 크게 회절(diffractive waveguide), 홀로그래픽(holographic waveguide), 편광(polarized waveguide), 반사(reflective waveguide) 방식으로 세분된다(Kress and Shin, 2013). Fig. 2는 마이크로 디스플레이에서 발생한 빛이 전달되는 각각의 방식을 도식화하여 보여준다.

http://static.apub.kr/journalsite/sites/ksmer/2019-056-05/N0330560506/images/ksmer_56_05_06_F2.jpg
Fig. 2.

Principles of the smart glass using waveguide. (a) Diffraction. (b) Holographic. (c) Polarized light. (d) Reflex (Park et al., 2013).

회절 방식은 깊은 경사의 회절격자(deep slanted diffraction gratings)를 사용하여 평행한 빛(collimated light)을 특정 각도로 도파로에 전달한 뒤, 내부 전반사를 통해서 다시 사람의 눈으로 전달하는 방식이다. 이 방식으로 스마트 글래스를 구현하기 위해서는 회절격자를 저비용으로 생산하고, 회절로 인해 발생하는 이미지의 색 불균일성 문제를 해결해야 한다. 또한, 회절 방식의 본질적인 문제인 시야각의 한계도 극복해야 할 과제이다(Levola, 2007).

홀로그래픽 방식은 회절격자 대신 홀로그래픽 소자가 빛의 회절에 사용된다는 차이를 제외하고는 기본적으로 회절 방식과 동일하다. 따라서 회절 방식과 마찬가지로 시야각이 제한된다는 문제점이 있다. 또한, 홀로그래픽 방식은 빨강, 녹색, 파랑 색상에 대하여 각각 하나씩의 소자를 요구하기 때문에, 이들의 배열에 따라서 발생하는 색상 불균일 문제도 개선되어야 한다(Mukawa et al., 2008).

편광 방식은 눈동자 쪽으로 빛을 전달하기 위해서 다층 코팅과 편광 반사기를 사용한다. 앞선 두 방식과는 달리 시야각 제한 문제가 없다. 그러나 다층 코팅과 반사기를 구현하기 위해 큰 비용이 발생한다는 한계가 있다. 특히, 반사로 인해서 손실되는 빛으로 인해 발생하는 문제는 치명적일 수 있다(Lumus Ltd., 2006).

반사는 앞서 설명된 거울을 활용한 방식과 유사하지만, 빛을 전달하기 위한 도파로가 추가되어 있다는 점에서 차이가 있다. 편광 방식과는 달리 다층 코팅을 사용하지 않기 때문에 색상 불균일 문제가 발생하지 않는다. 그러나 거울 방식과 마찬가지로 왜곡이 크게 발생할 수 있다. 또한, 충분한 시야각을 확보하기 위해서는 반사기의 크기가 커져야 하는데, 이는 도파로의 두께 증가로 이어져서 제품으로 만들 때 그 형태를 제약하는 요인으로 작용한다.

위의 방식들 이외에도 최근에는 마이크로 디스플레이를 사용하지 않고 사용자의 눈 망막에 직접 투사하는 가상 망막 디스플레이(Virtual Retinal Display, VRD) 형태의 기술도 제시되고 있으나 아직 상용화까지는 많은 기술개발이 필요한 상황이다(The verge, 2019).

대표적인 스마트 글래스 제품들의 특징

본 장에서는 현재 시장에 출시되어서 활용되고 있는 대표적인 스마트 글래스 제품들에 대해서 그 특징과 기술적 수준을 분석한 결과를 제시한다(Table 1).

Table 1. Specification of Google's Glass Enterprise Edition 2, Microsoft's Hololens 2 and Epson's Moverio BT-350 (Epson, 2019; Google, 2019; Microsoft, 2019a)

Google Glass
Enterprise Edition 2
Microsoft
Hololens 2
Epson
Moverio BT-350
CPU Qualcomm XR1
1.7 Ghz Quad-core
Qualcomm Snapdragon 850 Intel Atom X5
(1.44 GHz Quad-Core)
RAM DDR4 3 GB 4 GB LPDDR4x system DRAM 2 GB
Storage 32 GB 64 GB 48 GB
Camera 8-megapixel camera 8-megapixel camera, 1080p video recording 5-megapixel camera
Battery 820 mAh 16,500 mAh 2,950 mAh
Weight ~46 g 566 g 151 g
OS Android 8.0 Oreo Windows 10 Android 5.1
Sensor 6-axis gyroscope Azure Kinect sensor,
accelerometer,
gyroscope,
magnetometer,
6-DoF (Degrees of Freedom),
GPS
Wi-Fi,
Bluetooth,
GPS,
3-axis gyroscope
Fluoroscopy method Curved mirror
(+Reflective waveguide):
Google Light pipe
Holographic waveguide Reflective waveguide:
Epson light-guide

Google Glass Enterprise Edition 2

구글은 2012년 구글글래스라는 이름의 스마트 글래스를 출시를 하였으나, 사생활 침해와 편의성 문제 등으로 인하여 곧 판매를 중단하였다. 그리고 최근 이러한 단점들을 개선하고, 항공, 의료 등 산업 분야에서의 활용성에 초점을 맞춘 구글글래스 엔터프라이즈 에디션2(enterprise edition 2)를 출시하였다. 이 제품은 일반적인 안경의 형태를 유지하면서, 퀄컴 스냅드래곤(Qualcomm Snapdragon) XR1 플랫폼을 바탕으로 배터리의 성능을 최대화하면서 인공지능 처리 능력 향상에 초점을 맞추었다. 본 제품은 전작과 마찬가지로 광학적 투시 방법을 통해서 디지털 이미지에 대한 정보를 전달하나, 이로 인해 발생하는 왜곡과 해상도 저하의 문제점을 해결하기 위해 광 파이프(light pipe) 방식을 활용한다. 골전도 스피커와 이어셋을 통하여 소리를 전달하며, 음성 및 본체 우측의 터치패드를 통하여 조작할 수 있다. 산업 현장에서 신입생의 교육 환경을 개선하거나, 의료분야에서 환자의 정보를 실시간으로 확인하는 데도 효과적으로 활용될 수 있다.

Microsoft Hololens 2

마이크로소프트는 2016년 홀로렌즈(Hololens)라는 이름의 스마트 글래스를 출시한 후 3년 만에 Mobile World Congress(MWC) 2019에서 홀로렌즈 2라는 개선 버전을 공개하였다. 이 제품은 그 이름에서도 확인할 수 있듯이 광학적 투시 방법의 도파로 기반 방식, 특히 홀로그래픽 방식을 사용하여 디지털 이미지에 대한 정보를 전달한다. 앞서 언급하였듯이 이 방식은 시야각이 제한된다는 문제가 있다. 전작의 시야각은 대각 34도에 불과하였다. 개선된 제품은 이 시야각을 전작보다 2배 이상 넓히고, 해상도도 1안당 750 픽셀 수준에서 2k 픽셀 수준으로 대폭 향상시켰다. 이를 위해 개선된 제품에서는 레이저와 거울을 활용한 미소 전자기계시스템(microelectromechanical systems) 스캐닝 기술이 적용되었다. 특히 인공지능이 내장된 심도 센서를 바탕으로 실제 물건을 만지듯 상호작용이 가능한 MR 환경을 구현하였다. 홀로렌즈 2는 구글글래스 엔터프라이즈 에디션2와 마찬가지로 건설 현장, 정비, 수술실 등 다양한 산업 현장에서의 활용에 초점을 맞추었다(Fig. 3(a); Bloter, 2019).

http://static.apub.kr/journalsite/sites/ksmer/2019-056-05/N0330560506/images/ksmer_56_05_06_F3.jpg
Fig. 3.

Photos of wearing smart glass. (a) Microsoft Hololens 2. (b) Epson Moverio BT-350.

Epson Moverio BT-350

앱손은 2011년 최고의 퍼스널 시어터라는 컨셉으로 모베리오(Moverio) BT-100이라는 프로토타입의 스마트 글래스를 출시한 이후 꾸준히 제품을 출시하며 스마트 글래스 개발을 지속하고 있다. 2017년에 출시된 BT-350은 광학적 투시 방법의 도파로 기반 방식 중 반사 방식을 통하여 디지털 이미지에 대한 광 정보를 전달한다(Fig. 3(b)). 엡손 도광(Epson light-guide)으로 명명되는 기술은 약 1 cm 두께의 도파로를 통하여 마이크로디스플레이로부터 발생한 빛을 전반사를 통해 눈으로 전달한다. BT-350은 구글 및 마이크로소프트 제품들과는 달리 컨트롤러가 유선으로 본체에 연결되어 있어 상황에 따라 불편을 초래할 수 있다. 본 제품은 기본적으로 산업 현장 활용에 초점을 맞추고 개발되었으나, 박물관에서 MR 환경을 통해 더욱 현실감 있는 정보를 관람객에게 제공하는 등의 용도로도 활용될 수 있다.

스마트 글래스의 분야별 활용사례

의료분야 활용사례

Kim and Park(2013)은 뇌졸중 환자의 재활 치료에 스마트 글래스를 사용했다. 실제 환경에서 거동이 불편한 뇌졸중 환자의 재활 훈련에는 많은 제약이 따른다. 가상환경에서는 동일한 훈련을 반복해서 수행할 수 있고, 성과를 정량화할 수 있다. 또한, 실시간 피드백이 가능하여 환자의 능력에 따라 훈련 환경을 변경 또는 조절하여 맞춤형 훈련을 제공할 수 있다. 게임과 같은 흥미로운 요소를 결합하여 환자에게 훈련을 위한 동기도 부여할 수 있다. 이 연구에서는 뇌졸중 환자를 대상으로 가상환경에서 계단 오르기, 스노보드 타기 등 다양한 훈련을 진행하였고, 고전적인 훈련을 시행하는 경우와 비교해 통계학적으로 보행능력이 호전되는 것을 확인하였다. 또한, 정상 반구의 뇌 활성도 대비 손상 반구의 뇌 활성도 비가 증가함을 통해 가상현실 치료가 뇌졸중 환자의 재활에 도움을 줄 수 있음을 보여주었다. 그 외에도 가상현실을 활용한 재활 훈련이 뇌졸중 환자의 보행능력 향상에 효과적이라는 보고가 있다(Kim and Park, 2013).

스탠포드 의과대학에서는 시술 중 의사가 구글글래스를 사용하여 환자의 생체 징후를 확인하도록 하는 연구를 시행하였다(Choi Yoon Sup’s Healthcare Innovation, 2014). 일반적으로 전신마취 수술 중에는 마취과 의사가 환자의 생체 징후를 모니터링하고 관리하지만, 수면 상태에서 진행하는 시술의 경우 별도의 모니터링 인력 없이 시술자가 수시로 환자의 상태를 확인해야 하는 경우가 많다. 스마트 글래스를 이용해 시술자가 환자의 생체 징후를 확인하도록 하였을 때 환자에게서 발생하는 문제를 발견하는 속도가 빨라졌다. 또한, 수술중 CT(Computerized Tomography), MRI(Magnetic Resonance Imaging) 등 다양한 환자 관련 정보를 음성으로 글래스에 띄워서 확인할 수 있으므로 수술에 대한 집중도도 높아졌다(Fig. 4(a)).

관광분야 활용사례

경주세계문화엑스포의 ‘실크로드 경주 2015’ 전시에서는 한국 대표 문화유산인 석굴암을 가상으로 관람할 수 있게 트래블 체험관을 운영하였다. 스마트 글래스를 착용하고 10분간 가상의 석굴암을 체험하는 관광 콘텐츠로, 단순히 보는 것뿐 아니라 걸어 다니며 손으로 모션을 취하는 상호작용이 가능해 현장에서 석굴암을 직접 보는듯한 경험을 할 수 있도록 진행되었다. 관람객들이 스마트 글래스 체험에 좋은 반응을 보여 유료 프로그램임에도 연장 운영되었다(Choi, 2019).

일본 토미오카시에서는 2015년부터 진행한 사업으로 일본의 국보이자 국가지정 사적이며 세계유산이기도 한 일본 최초의 근대식 공장 토미오카 제사장을 스마트 글래스를 이용하여 관람할 수 있도록 만들었다(Fig. 4(b)). 토미오카 제사장은 제2차 세계대전 때 거의 피해를 입지 않았고 지속적인 관리로 전체적으로 양호한 상태를 유지해 왔으나 보수공사가 필요한 상황이었다. 제사장의 유지 관리에는 지속적으로 큰 비용이 들기 때문에 토미오카시에서는 유지비 절약과 관광객 유치를 목적으로 MR을 이용한 투어 상품을 개발하였다. 투어는 건립 시기의 건물 내외부와 조업 모습을 담고 있으며, 관광객들은 조업하는 모습을 재현한 360도 영상과 사진을 관람할 수 있다(Choi, 2019).

교육분야 활용사례

스페인의 한 대학에서는 수업 전용으로 제작된 스마트 글래스를 활용하고 있다. 수업 중 학생과 교사와의 상호작용을 향상시키기 위해 교사의 스마트 글래스와 학생의 핸드폰 애플리케이션을 연동하였다. 학생 스스로가 배운 내용을 이해했는지 스마트폰에 입력하면 교사의 안경에는 Fig. 4(c)와 같은 화면이 뜬다. 이를 통해 개별 학생들의 이해 정도를 파악할 수 있으며 우측 상단의 다이어그램으로 학생들의 이해 현황을 한눈에 볼 수도 있다. 이 기술을 통해 학생들은 수업 흐름을 방해하지 않고 자신의 이해 정도를 교사에게 알릴 수 있고, 스마트폰을 이용한 질문도 가능해 학생과 교사 사이의 빠른 소통이 가능하다(CircusAR, 2019).

http://static.apub.kr/journalsite/sites/ksmer/2019-056-05/N0330560506/images/ksmer_56_05_06_F4.jpg
Fig. 4.

Applications of smart glass in the (a) health care (image source: youtube, 2019), (b) tourism (image source: Tomioka-silk, 2019), (c) education (image source: CircusAR, 2019), (d) logistics (image source: DHL, 2019), (e) security (image source: Chosun.com, 2019) and (f) E-commerce industries (image source: Kotra, 2019).

스탠퍼드대 메디컬 센터에서는 수련의들을 위해 스마트 글래스를 활용하기 시작했다. 의료계는 도제식 교육방식을 사용하고 있는 대표적인 분야다. 생명을 다루는 의학의 특성상 배우는 과정에서 긴장이 필요하고 경험이 중요하기 때문이다. 그러나 수술실에서 수술 장면을 지켜볼 수 있는 인원은 제한되어 있어 수련의들의 수가 많아지면 수련의들이 수술 과정을 정확히 파악하기 어렵고 교육 효율이 떨어지게 된다. 스탠퍼드대 메디컬 센터에서는 이러한 문제를 해결하기 위해 수술에 참여하는 교수와 수련의들이 함께 스마트 글래스를 착용하고 실시간으로 시각적인 피드백을 제공할 수 있는 시스템을 도입하였다. 이로써 많은 학생이 카메라와 영상을 통해 생생한 학습을 할 수 있게 되었으며 의학 교육비도 절감하였다(NDSL, 2019).

물류분야 활용사례

DHL은 구글, 뷰직스, 유비맥스와 협력하여 물류창고 업무에 AR 기반의 웨어러블 디바이스를 활용하는 비전피킹 시스템을 출시하였다. 이를 이용하면 현장에서 일하는 작업자는 물류창고 내 특정 제품의 구역 및 위치, 주문 수량, 수하물 하역장소 등의 정보를 시각적으로 받아 업무 중 두 손을 자유롭게 활용할 수 있다(Fig. 4(d)). 작업자가 제품의 바코드 스캔 작업과 작업 리스트 확인 작업을 하지 않아도 되므로 오류를 줄이고 업무의 정확도를 높일 수 있었다. DHL에서 스마트 글래스를 통해 생산성은 평균 15% 향상되었고, 편리한 사용법으로 인해 신규 작업자를 위한 교육시간도 감소한 것으로 나타났다(DHL, 2019).

시설관리분야 활용사례

엘리베이터 제조 기업인 티센크루프는 엘리베이터의 유지보수 작업 효율 향상을 위해 마이크로소프트의 홀로렌즈를 적용하였다. 티센크루프는 작업자가 현장 방문 전 홀로렌즈를 통해 상황 파악이 가능하게 했으며, 현장에서는 작업자에게 필요한 정보를 AR로 제공했다. 전문가의 지원이 필요한 경우에는 전문가가 현장에 직접 올 필요 없이 작업자가 전문가와의 영상 통화를 통해 AR 환경에서 지원받을 수 있도록 했다. 그 결과 티센크루프는 유지보수 작업시간을 수십 분 내로 단축할 수 있었다(Microsoft, 2019b).

치안분야 활용사례

치안분야에서는 군중들이 모여 있는 장소에서 범인을 체포하는 데 어려움을 겪고 있다. 범인이 옷만 갈아입어도 신분을 감출 수 있기 때문이다. 이러한 문제점을 스마트 글래스를 활용하여 해결한 사례가 있다. 건물 내에서 스마트 글래스를 착용하고 지나가는 사람을 바라보면 직원임을 표시하는 박스가 글래스에 비치게 된다. 시스템에 등록되지 않은 사람은 외부인으로 표시되고 위험인물로 분류된 사람은 붉은색으로 표시된다. 스마트 글래스는 관제 시스템과 무선으로 연결되어 얼굴의 특징점 64개를 추출한 후 데이터베이스에 있는 사람과 비교하여 그 결과를 보여준다(iMBC, 2019).

실제 중국에서는 경찰들에게 선글라스처럼 보이는 스마트 글래스를 지급하였으며 용의자들의 정보가 담긴 데이터베이스와 연결해 용의자를 추적할 때 사용하고 있다(Fig. 4(e)). 스마트 글래스를 공공부문 치안유지 기술로 상용화하는 것은 특정 대상에 대한 감시 또는 공동감시를 가능하게 하는 순기능도 있다(TV CHOSUN, 2019).

전자상거래 분야 활용사례

미국 텍사스 오스틴에서 열린 SXSW(South by Southwest) 페스티벌에서는 지불 결제가 가능한 스마트 글래스를 선보였다(Fig. 4(f)). 이 제품은 일반 선글라스와 외형적인 차이가 없으나 옆면에 칩을 내장하고 있어 근거리 무선통신 결제 단말기를 이용한 상품 구매가 가능하다. 비자는 개발 단계의 스마트 선글라스에 대해 시장성을 검토하고 있으며 현재 주요 은행 및 다수의 기업과 다양한 방향으로 제휴 가능성을 타진 중이다(Kotra, 2019).

광업 분야 VR 및 AR 기술 활용사례

앞서 제시한 것과 같이 다양한 분야에서 스마트 글래스가 활용되고 있으나 현재까지 광업 분야에서의 활용사례는 보고되지 않았다. 본 장에서는 광업 분야에서 스마트 글래스가 사용된 사례는 아니지만 유사한 기술인 VR/AR 기술을 활용한 몇 가지 사례들을 소개한다.

타 분야와 마찬가지로 광업 분야에서도 작업 현장의 생산성과 안전성 향상은 중요한 문제이다. 광업 분야에 VR 기술이 도입되면서 작업자들은 가상현실 환경에서 채광작업을 훈련할 수 있다. VR 기술을 사용한 훈련 방식의 가장 큰 장점은 채광장의 위험요소를 예측할 수 있으며, 이를 제거하여 작업자의 안전성을 개선할 수 있다는 것이다. VR을 활용한 사례들로는 고용 전 선별검사, 계약자 훈련, 위험 인식훈련, 대피강화 훈련, 작업장 절차 및 소각 공간 훈련 등이 포함된다(MiningMagazine, 2019a).

Norris사의 WorksiteVR Quest는 VR기반의 시뮬레이터를 교육생에게 제공함으로써, 작업과정을 미리 숙지하고, 위험요소 발생시 대처하는 훈련을 수행하고 있다. 이러한 훈련은 몽골 Oyu Tolgoi 광산의 10개의 작업장을 대상으로 하고 있으며, 현재까지 1,100명 이상의 교육생이 VR 프로그램을 통해 교육을 받았다. WorksiteVR Quest 통해 분석한 결과 훈련과정의 이해도가 기존 대비 22% 높아짐을 확인하였다(MiningMagazine, 2019a).

Montana사에서는 위험 인식 챌린지(hazard recognition challenge) 앱을 개발하였다. 사용자는 앱을 통해 작업장, 도로 및 공장 등에서 사고 및 부상 통계 데이터를 받아 위험요소를 사전에 감지할 수 있다. 또한, 비상상황을 대비한 가상훈련을 통해 작업의 안전성을 상향시킬 수 있다. 이 앱은 실제 현장에서 1,000명 이상의 광부를 훈련하는데 사용되었다(MiningMagazine, 2019b). 그 밖에도 Deloitte사의 M3Safe는 양방향 통신을 통해 작업공간의 환경을 실시간 분석하고 사용자에게 제공하고 있다. 주요정보는 작업공간 내의 위험한 가스의 농도, 공기질, 작업자의 위치 및 이동성에 대한 정보이다. M3Safe는 광산 데이터 플랫폼에 업로드되어 전 세계 어디서나 접근할 수 있다는 장점이 있다(MiningMagazine, 2019b).

Kim and Choi(2019a)는 마이크로소프트 키넥트 센서와 굽힘 감지 데이터 글러브를 이용하여 VR 환경에서 광업 분야 소프트웨어를 효과적으로 제어할 수 있는 3차원 인터페이스 장치를 개발하였다. 개발된 3차원 인터페이스는 전통적으로 사용되는 2차원 마우스, 3차원 마우스, VR 컨트롤러와 비교했을 때 사용자의 몰입감을 극대화하면서 광업 분야 소프트웨어를 효율적으로 제어할 수 있었다(Kim and Choi, 2019b).

광산개발 과정에서의 안전에 대한 문제는 매우 중요하므로 앞으로도 VR/AR 기술에 대한 도입과 애플리케이션 개발이 계속될 것이다. 더 나아가 광산 현장의 MR 환경 구현을 위해 스마트 글래스가 유용하게 활용될 것으로 예상한다.

토 의

스마트 글래스는 매우 혁신적인 제품으로 광산을 포함한 다양한 산업 현장에서 작업자의 업무 패턴을 바꿀 수 있는 높은 잠재력이 있다(Kumar and Sharma, 2014). 스마트 글래스는 사용자의 시력을 크게 왜곡시키지 않는 동시에, 사용자의 눈앞에 MR 환경을 구현하여 유용한 정보를 실시간 제공할 수 있으므로, 이를 착용한 작업자는 복잡하고 불편한 업무들을 한결 수월하게 진행할 수 있을 것이다. 특히, 스마트폰과는 달리 작업자의 두 손을 자유롭게 하여 작업에 집중할 수 있도록 한다는 큰 장점이 있다.

이러한 장점에도 불구하고 스마트 글래스의 도입시 발생할 수 있는 문제들도 있다. 가장 큰 문제는 데이터 보안 및 개인정보 문제이다(Hofmann et al., 2017). 스마트 글래스는 일반적인 안경과 같은 외형을 갖고 있지만, 카메라 센서를 탑재하고 있어 자신도 모르게 누군가를 촬영하는 경우가 발생할 수도 있다. 따라서 사생활 또는 초상권 침해가 발생하거나, 정보통신망을 통해 촬영 영상이 유통되는 등의 문제가 발생할 수 있다. 또한, 정보의 표현과 제공에 대한 제한이나 규제가 부족해 개인정보 유출 등의 부가적인 문제도 발생할 수 있다(Roesner et al., 2014; Wassom, 2014). 광산 현장에서도 작업자들이 스마트 글래스를 착용할 경우 영업 기밀에 해당하는 중요한 정보들이 작업자들도 인지하지 못한 상태에서 외부로 유출될 가능성이 있다. 이를 해결하기 위해 정보 보안과 관련한 기술개발뿐만 아니라 법제도를 정비하여 제도적 안전장치를 마련할 필요가 있다.

두 번째 문제는 대부분의 웨어러블 디바이스와 마찬가지로 스마트 글래스도 장시간 착용할 경우 작업자가 불쾌감이나 피로감을 느낄 수 있다는 점이다. 특히, 스마트 글래스의 경우 안경 형태로 안면에 직접 착용하기 때문에, 이로 인해 발생할 수 있는 시력 저하 및 과도한 전자파 노출 등은 작업자의 안전을 오히려 위협하는 요인이 될 수 있다(Rauschnabel et al., 2016). 광산 작업자들이 스마트 글래스를 착용했을 때 느끼는 불쾌감이나 피로감, 그리고 인체에 미치는 영향 등에 대한 연구를 통해 제도적 장치를 마련하여 작업자의 건강과 안전을 보장할 수 있어야 할 것이다.

결 론

본 연구에서는 스마트 글래스의 원리와 대표적인 제품들의 특징을 정리하였고, 의료, 관광, 교육 등 다양한 분야에서의 활용사례를 분석하였다. 스마트 글래스는 안경 형태의 프레임을 가진 투시형 HMD 장치로서 MR 환경 구현에 효과적이다. 현재 상용화된 제품들이 시장에 다수 출시되어 있으며, 이들 대부분은 평면 또는 곡면 거울을 활용한 광학적 투시 방법을 사용하고 있다. 최근에는 도파로나 도광을 이용한 광학적 투시 방법도 스마트 글래스 개발을 위해 적용되고 있다.

스마트 글래스는 병원에서 뇌졸중 환자의 재활 치료, 수술 중인 의사에게 환자 정보의 신속한 전달을 위해 활용되고 있으며, 경주세계문화엑스포, 일본 토미오카 제사장 등과 같은 관광지에서도 활용사례를 찾아볼 수 있었다. 스페인과 미국에서는 스마트 글래스를 이용한 새로운 교육방식을 적용하고 있으며, DHL과 같은 물류 기업에서도 업무의 효율성과 편의성을 개선하기 위해 스마트 글래스를 도입하였다. 그 밖에도 시설관리분야, 치안분야, 전자상거래분야에서 스마트 글래스의 다양한 활용사례를 확인할 수 있었다.

광업 분야의 경우 현재까지 스마트 글래스가 현장에서 활용되고 있는 사례들은 보고되지 않았다. 그러나 스마트폰, 태블릿 PC 또는 HMD 장치를 이용한 VR/AR 기술이 광산 현장에 도입되고 있으므로, 가까운 시일 내에 스마트 글래스 기반의 다양한 응용 시스템들이 현장에서 활용될 것이라 예상된다. 물론 이를 위해서는 광산 현장에 스마트 글래스를 도입할 때 발생할 수 있는 데이터 보안 및 개인정보 문제, 작업자의 건강과 안전 문제 등에 관한 연구가 필요할 것이다.

최근 이슈가 되고 있는 5G 기술의 개발과 보급에 따라 스마트 글래스의 활용은 산업 전 분야로 더욱 확산될 것이라 예상된다. 타 산업 분야와 마찬가지로 광업 분야에서도 스마트 글래스를 효과적으로 활용한다면 현장 작업자의 생산성과 안전성 개선에 도움이 될 것이며, 이를 위한 연구개발이 필요하다고 판단된다. 본 연구의 결과가 광업 분야에서 활용될 스마트 글래스 기반의 응용 시스템 또는 애플리케이션 개발을 위해 참고자료로써 활용될 수 있을 것이라 기대한다.

Acknowledgements

본 연구는 2019학년도 부경대학교 국립대학육성사업 지원비에 의하여 수행되었다. 이에 감사한다.

References

1
Bloter, 2019.09.25., http://www.bloter.net/archives/332268.
2
Choi Yoon Sup's Healthcare Innovation, 2019.09.25., http://www.yoonsupchoi.com/2014/08/10/stanford_medical_school_adopts_glass/.
3
Choi, H.Y., 2019. MR-Audience for Exhibition Proposed Content Design Mode, PhD Thesis, Ewha Womans University, Korea, 156p.
4
Chosun.com, 2019.09.25., http://news.chosun.com/site/data/html_dir/2018/08/06/2018080600095.html.
5
CircusAR, 2019.09.25., https://m.blog.naver.com/PostView.nhn?blogId=circus_ar&logNo=50173832491&proxyReferer=https%3A%2F%2Fwww.google.com%2F.
6
DHL, 2019.09.25., https://www.dhl.com/content/dam/downloads/g0/about_us/logistics_insights/csi_augmented_reality_report_290414.pdf.
7
Epson, 2019.09.25., https://www.epson.co.kr/%EB%B9%84%EC%A6%88%EB%8B%88%EC%8A%A4%EC%9A%A9-%EC%A0%9C%ED%92%88/%EC%8A%A4%EB%A7%88%ED%8A%B8%EA%B8%80%EB%9D%BC%EC%8A%A4/Moverio-BT-350/p/V11H837051.
8
Gintautas, V. and Hubler, A.W., 2007. Experimental evidence for mixed reality states in an interreality system. Phys. Rev.,75(5), 057201.
10.1103/PhysRevE.75.05720117677199
9
Google, 2019.09.25., https://www.google.com/glass/tech-specs/.
10
Hofmann, B., Haustein, D., and Landeweerd, L., 2017. Smart- glasses: Exposing and elucidating the ethical issues. Sci. Eng. Ethic., 23(3), 701-721.
10.1007/s11948-016-9792-z27432401
11
Hoshi, H., Taniguchi, N., Morishima, H., Akiyama, T., Yamazaki, S. and Okuyama, A., 1996. Off axis optical system consisting of aspherical surfaces without rotational symmetry. Proc. of the SPIE 2653, San Jose, California, USA, p. 1-9.
10.1117/12.237443
12
imbc, 2019.09.25., http://imnews.imbc.com/replay/2018/nwdesk/article/5082439_22663.html?menuid=nwdesk.
13
Kim, D.Y. and Park, J.B., 2013. Virtual reality based stroke rehabilitation. J. Korean Med. Assoc., 56(1), 16-22.
10.5124/jkma.2013.56.1.16
14
Kim, H. and Choi, Y., 2019a. Development of a 3D user interface based on kinect sensor and bend-sensing data glove for controlling software in the mining industry. Journal of Korean Society of Mineral and Energy Resources Engineers, 56(1), 44-52.
10.32390/ksmer.2019.56.1.044
15
Kim, H. and Choi, Y., 2019b. Performance comparison of user interface devices for controlling mining software in virtual reality environments. Appl. Sci-BASEL, 9, 2584.
10.3390/app9132584
16
Kotra, 2019.09.25., http://news.kotra.or.kr/user/globalAllBbs/kotranews/album/2/globalBbsDataAllView.do?dataIdx=158031&searchNationCd=101001.
17
Kress, B.C. and Shin, M., 2013. Diffractive and holographic optics as optical combiners in head mounted displays. Proc. of the UbiComp'13, Zurich, Switzerland, p. 1479-1482.
10.1145/2494091.2499572
18
Kumar, G. and Sharma, P., 2014. Google glasses impediments. Medicine, 1(2), 80-84.
19
Levola, T., 2007. Stereoscopic near to eye display using a single microdisplay. Proc. of the Society for Information Display (SID) 07 Digest, Long beach, California, USA, p. 1158-1159.
10.1889/1.2785514
20
Lumus Ltd., 2006. EU Patent No. 01779159.
21
Medium, 2019.09.25., https://medium.com/startux-net/the-differences-between-vr-ar-mr-27012ea1c5.
22
Microsoft, 2019.09.25a., https://www.microsoft.com/ko-kr/hololens/hardware.
23
Microsoft, 2019.09.25b., https://blogs.windows.com/devices/2016/09/15/microsoft-hololens-enables-thyssenkrupp-to-transform-the-global-elevator-industry.
24
Milgram, P. and Kishino, A.F., 1994. Taxonomy of mixed reality visual displays. IEICE Transactions on Information and Systems, 77(12), 1321-1329.
25
Mining Magazine, 2019.09.25a., https://www.miningmagazine.com/innovation/news/1336903/-virtual-reality-check.
26
Mining Magazine, 2019.09.25b., https://www.miningmagazine.com/operational-excellence/news/1343904/wearing-it-well.
27
Mukawa, H., Akutsu, K., Matsumura, I., Nakano, S., Yoshida, T., Kuwahara, M., Aiki, K. and Ogawa, M., 2008. A full color eyewear display using planar waveguides with reflection volume holograms. Proc. of the Society for Information Display (SID) 08 Digest, Los Angeles, California, USA, p. 89-92.
10.1889/1.3069819
28
NDSL, 2019.09.25., http://www.ndsl.kr/ndsl/search/detail/trend/trendSearchResultDetail.do?cn=SCTM00127705.
29
Park, J., Hwang, J. and Kim, H., 2013. The technical compositions, trends and prospects of smart glasses. Communications of the Korean Institute of Information Scientists and Engineers, 31(9), 53-60.
30
Rauschnabel, P.A., Hein, D.W., He, J., Ro, Y.K., Rawashdeh, S. and Krulikowski, B., 2016. Fashion or technology? A fashnology perspective on the perception and adoption of augmented reality smart glasses. i-com, 15(2), 179-194.
10.1515/icom-2016-0021
31
Roesner, F., Kohno, T., Denning, T., Calo, R. and Newell, B.C., 2014. Augmented reality: Hard problems of law and policy. Proc. of the 2014 ACM international joint conference on pervasive and ubiquitous computing, Seattle, Washington, USA, p. 1283-1288.
10.1145/2638728.2641709
32
Sarayeddine, K. and Mirza, K., 2013. Key challenges to affordable see-through wearable displays: the missing link for mobile AR mass deployment. Proc. of the SPIE 8720, Baltimore, Maryland, p. 1-5.
10.1117/12.2018184
33
Sutherland, I.E., 1968. A head-mounted three dimensional display. Proc. of the fall joint computer conference, part I, San Francisco, California, USA, p. 757-764.
34
The verge, 2019.09.25., https://www.theverge.com/2018/4/18/17255354/intel-vaunt-shut-down.
35
Tomioka-silk, 2019.09.25., http://www.tomioka-silk.jp/.
36
TV CHOSUN, 2019.09.25., http://news.tvchosun.com/site/data/html_dir/2018/02/09/2018020990157.html.
37
Wassom, B.D., 2014. Augmented reality law, privacy, and ethics: Law, society, and emerging AR technologies, Syngress, 225 Wyman Street, Waltham, Massachusetts, USA, p. 1-360.
38
Youtube, 2019.09.25., https://www.youtube.com/watch?v=yhfQa74qMwI.
페이지 상단으로 이동하기