서 론

2010년부터 2015년까지 미국 지하광산 현장에서는 약 1만 2230건의 안전사고가 발생하였고, 그중 121건은 치명적인 인명사고로 이어졌다(CDC, 2013; CDC, 2016). 지하광산 환경에서 발생할 수 있는 위험 요소들을 없애기 위해 다양한 기술들이 지하광산 현장에 적용되고 있다. 그중에서 최근에는 지하광산 내부를 자율주행 로봇을 활용하여 조사/탐사하기 위한 연구들이 활발하게 수행되고 있다. 대표적으로 Bakambu and Poloski(2007)는 자율주행 로봇을 활용하여 지하광산 환경에서 실시간 위치를 추정하며 2, 3차원 갱도 맵핑 작업을 하였고, 정확도에 대한 평가를 수행하였다. Zhao et al.(2017)은 지하 광산에서 인명사고가 발생하였을 때 자율주행 로봇을 투입하여 초기 탐사 작업을 수행하여 사고 발생 지점의 위험 요소들을 파악할 수 있었다. Günther et al.(2019)은 자율주행 로봇을 활용하여 지하광산 갱도의 온도, 습도, 가스 농도를 측정하고 이를 원격으로 전송할 수 있는 시스템을 개발하였다. Kim and Choi(2021a)는 지하광산용 자율주행 로봇과 두 개의 라이다(Light Detection and Ranging, LiDAR) 센서를 활용하여 지하광산 갱도에 대한 3차원 맵을 만들었고, 비전 시스템과 융합하여 정확도를 향상시켰다. 그밖에도 자율주행 로봇과 라이다 센서와 같은 거리 측정 장비를 활용하여 지하광산에 갱도에 대한 정밀 측량 작업을 자동화하기 위한 연구들이 다수 수행되었다(Larsson et al., 2005; MobileTronics, 2019).

지하광산용 자율주행 로봇에 카메라 센서를 부착하여 주변 환경을 인지하는 방법에 관한 연구들도 다수 수행되었다(Baker et al., 2004; Marshall et al., 2008; Kim and Choi, 2021b). 이 방법은 자율주행 로봇이 지하광산 주행 중 차량, 작업자 등과 같은 동적 객체들을 인지하여 충돌 방지를 위한 회피 기동을 하는 데 주로 사용되었다. 최근에는 카메라 센서를 이용하여 지하갱도 내에서 도로 표지판을 인지하여 자율주행 로봇이 복잡한 다중 지점 임무를 수행하기 위한 연구도 수행되었다. Kim and Choi(2021c)은 지하광산에서 자율주행 로봇이 카메라 센서를 사용하여 도로 표지판을 인지하고, 표지판의 심볼에 따라 방향을 정해 자율주행하는 시스템을 개발하였다. 개발된 시스템은 라이다 센서를 통해 갱도 벽면의 형태를 인지하고 로봇이 도로의 중앙 지점을 따라 주행한다. 로봇이 회전 구간이나 교차로에 진입하였을 때 카메라 센서와 머신비전 기술을 활용하여 도로 표지판을 인지하고 표지판의 지시 방향에 따라 주행했다.

Fig. 1은 자율주행 로봇에 탑재된 카메라 센서와 머신비전 알고리즘을 사용하여 지하광산 갱도에서의 자율주행 중 주요 지점에 설치된 도로 표지판을 인지한 결과를 보여준다. 자율주행 로봇이 주행하면서 촬영한 실시간 영상에서 도로 표지판이 인지되면 머신비전 알고리즘의 인지 정확도를 나타내는 매칭 스코어, 인식된 객체의 각도, 위치, 스케일 등에 대한 정보가 Fig. 2와 같이 출력된다. 도로 표지판의 인지를 위해 다양한 머신비전 알고리즘이 사용될 수 있으나 기존의 연구에서는 기하 매칭 알고리즘 이외에 다른 알고리즘은 적용해 보지 않았다. 또한, 제한된 현장실험 조건으로 인해 자율주행 로봇과 도로 표지판 사이의 거리 및 각도, 조명의 유무, 도로 표지판의 심볼 등에 따른 인지 정확도의 차이를 분석하지 못한 한계가 있었다.

Fig. 1.

View of road sign recognition in the experimental area using a vision system (modified from Kim and Choi, 2021c).

Fig. 2.

Field experimental scenes, view of vision camera, and matching results of the geometric matching algorithm (modified from Kim and Choi, 2021c).

본 연구의 목적은 지하광산용 자율주행 로봇이 카메라 센서로 도로 표지판을 인지하는데 사용할 수 있는 4종류의 머신비전 알고리즘(컬러 패턴 매칭, 기하 매칭, 패턴 매칭, 형상 매칭)의 성능을 비교하는 것이다. 실내실험을 통해 거리, 각도, 조명, 심볼 변화에 따른 도로 표지판 인지 정확도를 비교하여, 지하광산용 자율주행 로봇이 도로 표지판을 인지하는데 사용될 수 있는 최적의 알고리즘을 선정하고자 한다.

연구방법

머신비전 기반의 매칭 알고리즘을 활용한 실내 도로 표지판 인지 실험

본 연구에서는 컬러 패턴 매칭, 기하 매칭, 패턴 매칭, 형상 매칭 알고리즘을 적용하여 알고리즘별 도로 표지판 인지 성능을 분석하였다. 일반적으로 지하광산 현장에서는 갱도 굴착 때문에 주행 경로가 빈번하게 변경되며, 이로 인해 주행 경로를 알려주는 도로 표지판도 달라질 수 있다. 또한, 도로 표지판에 대한 이미지 데이터가 충분하지 않기 때문에, 단일 이미지를 학습 데이터로 사용하는 이미지 매칭 알고리즘을 활용하여 도로 표지판을 인지하고자 하였다. Fig. 3은 실내 도로 표지판 인지 실험의 매칭 결과 예시를 나타낸다. 매칭 성공 스코어는 식 (1)를 통해서 계산된다.

여기서 Matching Score는 매칭 정확도에 대한 점수를 나타내고 0~1000점 사이의 숫자로 계산되며 1000점에 가까울수록 높은 정확도를 나타낸다. 스코어는 소수점을 피하면서 매칭에 대한 높은 정밀도를 나타내기 위해 최대 1000점의 값으로 나타내었다(Sharma et al., 2012). Total area는 매칭의 대상이 되는 전체영역을 나타내며, Matched area는 매칭이 성공한 영역을 나타낸다.

Fig. 3.

Matching result of machine-vision-based image matching method used in this study.

본 연구에서는 각각의 매칭 알고리즘을 구현하기 위해 National instrument사의 Vision Development Module, Vision Acquisition Software, Vision Builder for Automated Inspection, Vision Assistant, LabVIEW 등의 소프트웨어를 활용하였다(National Instruments, 2019; IMAQ Vision Concept Manual, 2021).

컬러 패턴 매칭 알고리즘

컬러 패턴 매칭 알고리즘이란 이미지의 색 분포 정보 및 대상의 형태를 함께 학습하여 대상 이미지에서 유사한 패턴을 찾아내는 머신비전 기술이다. 컬러 패턴 매칭 알고리즘은 배경과 객체의 색 분포가 다르게 나타날 때 활용될 수 있으며, 인지된 객체의 위치, 각도 및 인지 정확도 등에 대한 정보를 획득할 수 있다. 컬러 패턴 매칭 알고리즘은 학습 이미지와 대상 이미지의 3D 색상 정보를 1D 색상 스펙트럼으로 나타내어 각 영역에 대한 점수를 계산하고 이를 합산하여 정확도를 평가한다. 컬러 패턴 매칭 알고리즘은 객체와 배경이 명확하게 구분되는 색 정보를 가졌을 때 흑백 이미지 기반의 매칭 알고리즘들에 비해 정확하게 객체를 찾아낼 수 있으며, 균일하지 않은 조명 조건에서도 상대적으로 우수한 성능을 보인다는 장점이 있다. Fig. 4는 컬러 패턴 매칭 알고리즘의 학습, 매칭 프로세스를 나타낸다(IMAQ Vision Concept Manual, 2021).

Fig. 4.

Process diagram of the color pattern matching method used in this study.

기하 매칭 알고리즘

기하 매칭 알고리즘은 물체의 경계선을 검출하고, 이를 템플릿 이미지의 형태와 비교하여 매칭한다. 기하 매칭 알고리즘은 물체와 배경의 구별이 명확해야 효율적으로 사용할 수 있다. 또한, 물체의 경계선이 명확하지 않거나 일부분만으로 매칭할 때는 효율성이 떨어진다. 기하 매칭은 조명 변화, 흐림, 노이즈와 같은 요소들에 의한 성능 저하가 상대적으로 적으며, 화면상에서 객체의 이동, 회전, 스케일 변화와 같은 기하 형태 변화로부터 효율적으로 인지할 수 있다. 기하 매칭은 원형, 사각형, 선형의 템플릿 이미지의 특징점들을 이용하여 매칭한다. 기하 매칭 알고리즘은 객체와 주변 환경을 구분하여 학습하는 단계(Curve Extraction, Feature Extraction), 특징점과 템플릿을 이용하여 매칭하는 단계(Feature Correspondence matching, Template model matching, Match refinement)로 구성된다.

패턴 매칭 알고리즘

패턴 매칭 알고리즘은 회색조로 변환된 템플릿 이미지의 픽셀 색 정보를 활용하여 매칭을 수행한다. 패턴 매칭 알고리즘은 본 연구에서 패턴 매칭의 알고리즘으로는 correlation- value pyramid를 사용했다. correlation-value pyramid은 normalized gray value를 활용하는 방법으로, 조밀한 텍스처가 있을 때 활용도가 높아진다. 패턴 매칭 알고리즘은 조명의 영향, 노이즈, 템플릿의 회전된 상태에서도 매칭 효율이 높다는 장점이 있다.

패턴 매칭의 템플릿 이미지의 크기는 K × L이고, 대상 이미지의 크기는 M × N일 때, (i,j) 지점에서의 cross correlation는 식 (2)를 통해서 계산된다. Fig. 5은 패턴 매칭을 수행할 때 템플릿 이미지와 대상 이미지의 correlation 절차를 나타낸다.

Fig. 5.

Conceptual diagram of cross-correlation between the template image and the target image for calculating the matching score.

여기서 i = 0, 1, 2, … M-1 이고 j = 0, 1, 2, … N-1일 때까지의 값 중 가장 높은 지점에서의 C(i,j) 값을 통해 correlation을 계산한다(Fig. 5).

형상 매칭 알고리즘

형상 매칭 알고리즘은 템플릿 이미지와 유사한 형태의 이미지가 대상 이미지에서 존재하는지를 검색하며, 위치와 형태 등을 찾아내는 알고리즘이다. 이 알고리즘은 템플릿 이미지, 대상 이미지 모두 이진 이미지 형태로 사용하며, 이진 이미지는 임계값를 통해서 분류된다. 형상 매칭 알고리즘은 scale invariance를 통해서 객체의 크기가 변한 경우에도 감지하며, 이미지가 회전된 경우에도 감지할 수 있다. 형상 매칭 알고리즘 이진 이미지를 통해서 적용되므로, 대상 이미지를 제외한 나머지 배경 부분들을 제외시킬 수 있다는 장점이 있지만, 광원의 세기가 일정하지 않은 지역에서는 임계값에 따라 성능이 저하된다는 한계가 있다.

실내실험 환경

본 연구에서는 안전 문제로 인해 가행 광산에서 도로 표지판 비교 실험을 수행하기 어려웠어서 광산 현장을 모사한 실내실험장에서 4종류의 도로 표지판 인지 알고리즘에 대한 비교 실험을 수행하였다. 이를 위해 폭 2.5 m, 길이 10 m 규격의 실내 모사 실험장을 설계하였다. Fig. 6는 각도, 조명, 거리 등의 실험조건에 따른 도로 표지판의 변화를 나타낸다. 실험장에는 각도(Fig. 6(a), 6(b)), 도로 표지판 형태(Fig. 6(c)), 조명(Fig. 6(c)), 거리(Fig. 6(d))의 실험조건에 맞추어 도로 표지판을 배치하였다. 카메라에 있는 조명은 항상 일정한 세기로 켠 상태로 유지하였고, 복도의 조명을 on/off 하면서 조명 조건을 조절하였다.

Fig. 6.

View of the indoor experiment. (a) Basic setting. (b) Angle change. (c) Lighting change. (d) Distance change.

실내실험 방법

실내실험은 5지점의 거리(2 m, 4 m, 6 m, 8 m, 10 m), 5종류의 각도(‒45°, ‒30°, 0°, 30°, 45°)에 대해 4종(컬러 패턴 매칭, 기하 매칭, 패턴 매칭, 형)의 매칭 알고리즘 적용하여 매칭 결과를 도출한다. 또한, 각도, 거리 변화에 따른 정확도 변화를 분석하여 최적 매칭 알고리즘을 선정한 후, 3종류의 도로 표지판 형태(left, straight, right) 조명 여부(on/off) 변화에 대한 실험을 수행한다. 매칭을 수행할 때 매칭 스코어가 기록될 수 있도록 설계하였고, 실험이 끝난 후 이 값들을 분석하여 매칭에 대한 정확도를 평가, 분석하였다. 4종류(거리, 각도, 도로 표지판 형태, 조명)의 변인들의 변화에 따른 결과를 비교하기 위해 비교하고자 하는 항목을 제외하고 나머지는 일정한 조건을 유지해 주었다. 실험을 수행하기 전 일정한 거리에서 촬영한 학습 이미지의 크기를 조절하여 거리에 맞는 학습 이미지를 생성하였고, 특정 조건에 대한 단일 이미지에 대해 4종류의 매칭 알고리즘을 모두 적용하여 평가하였다. 다른 인자들은 거리 4 m, 각도 0°, 도로 표지판 우측, 조명 off 상태를 기본 조건으로 설정하였다.

연구 결과

본 연구에서는 지하광산 환경에서 도로 표지판을 인지하기 위한 4종류의 매칭 알고리즘을 비교 분석하였다. 거리와 각도에 따라서 4종류의 매칭 알고리즘에 대해 인지 정확도를 분석하였고, 각각의 매칭 스코어를 비교하였다. 또한, 각 매칭 알고리즘의 거리, 각도에 따라 실험결과를 분석하여 최적 매칭 알고리즘을 선정하였다. Fig. 7은 실내실험에서 4종류의 매칭 기법들을 통해 도로 표지판을 인지한 결과를 나타낸다. 컬러 패턴 매칭(Fig.7(a))은 RGB 이미지를 통해 매칭이 수행되고 패턴 매칭(Fig. 7(b))과 기하 매칭(Fig. 8(b))은 회색조 이미지로 수행된다. 여기서, 기하 매칭은 기하적인 형태 변화를 추출하기 위해 회색조로 표현된 이미지의 경계선들을 모두 인식하는 것을 확인할 수 있다. 형상 매칭(Fig. 7(c))은 이진 이미지를 통해 매칭을 수행한 것을 확인할 수 있었다.

Fig. 7.

Matching results of the four types of road sign detection algorithms in the indoor experiment. (a) Color pattern matching, (b) Pattern matching, (c) Geometric matching, (d) Shape matching.

Table 1은 컬러 패턴 매칭 알고리즘을 이용한 실내실험 결과를 나타낸다. 컬러 패턴 매칭 알고리즘은 1000점을 만점으로 평균 622점의 매칭 스코어를 보였다. 전체적으로 4 m ‒ 6 m 거리에서 높은 정확도를 보였으며, 표지판의 회전 각도가 적을수록 높은 정확도를 보였다. 2 m 거리에서는 낮은 정확도를 보였는데, 이는 가까운 거리에서 도로 표지판은 조명에 의해 큰 영향을 받고 카메라에서 인지되는 도로 표지판의 색상이 템플릿 이미지에 비해 밝게 나타나서 오히려 매칭 정확도가 감소한 것으로 예상할 수 있었다. 컬러 패턴 매칭 알고리즘의 경우 RGB 이미지를 통해 매칭을 수행하기 때문에 이미지의 색상 차이에 의해 정확도가 크게 저하되었다. 또한, 10 m 이상에 위치하였을 때는 색상의 분포가 명확하게 인지되지 못하였기 때문에, 인지에 실패하는 것을 확인할 수 있었다.

Table 2는 기하 매칭 알고리즘을 이용한 실내실험 결과를 나타낸다. 기하 매칭 알고리즘은 평균 992점의 매칭 스코어를 보였고, 모든 거리에서 정확하게 표지판을 인지하는 것을 확인할 수 있었으며 각도 변화에도 일정한 인지 성공률을 보였다. 기하 매칭 알고리즘의 경우 회색조 이미지를 통해 학습, 매칭이 수행되기 때문에 가까운 거리에서 비추는 조명에 의한 반사 영향이 상대적으로 적었다. 그리고, 인지되는 이미지의 scale, rotation에 적은 영향을 받기 때문에 전체적으로 높은 성능을 확인할 수 있었다. 또한, 도로 표지판은 인지에 활용되는 화살표의 윤곽선과 배경이 명확하게 구분되기 때문에 높은 성공률을 보인 것으로 예상할 수 있었다.

Table 3는 패턴 매칭 알고리즘의 실내실험 결과를 나타낸다. 패턴 매칭 알고리즘은 평균 882점의 매칭 스코어를 보이며 거의 모든 구간에서 매칭 실패 없이 안정적인 인지 성공률을 보였다. 도로 표지판의 회전 각도가 ±45일때는 상대적으로 인지 정확도가 낮은 것을 확인할 수 있었고, 거리가 10 m일 때 매칭 정확도가 감소하는 것을 확인할 수 있었다. 패턴 매칭 알고리즘의 경우 회색조 이미지의 전체적인 색 분포를 비교하고 이를 통해 매칭을 수행한다. 따라서 표지판이 회전되었을 때, 표지판 일부분이 압축된 형태로 표현되고 이를 인지할 때, 분포 차이에 의해 인지 정확도가 낮아지는 것으로 판단된다.

Table 4은 형상 매칭 알고리즘의 실내실험 결과를 나타낸다. 형상 매칭 알고리즘은 거리가 가깝거나 매우 멀 때 인지가 불가능한 것을 확인할 수 있었다. 형상 매칭 알고리즘은 이미지의 색상 값에 threshold 설정하고, 이를 통해 이진화된 이미지를 통해 학습과 매칭을 수행한다. 따라서 조명에서 일정 거리만큼 떨어져 있을 때는 안정적으로 인지를 하였지만, 조명에 의해 도로 표지판이 매우 밝게 표시되거나, 거리가 멀어져서 조명의 영향을 거의 받을 수 없을 때는 매칭이 실패하는 것을 확인할 수 있었다.

Fig. 8은 0°(Fig. 8(a)), ±30°(Fig. 8(b)), ±45°(Fig. 8(c)) 각도에서 거리 변화에 따른 매칭 정확도를 나타낸다. ±30°, ±45°는 (+) 각도와 (‒)를 평균해서 계산하였다. 전체적으로, 컬러 매칭 알고리즘은 평균 622점, 기하 매칭 알고리즘은 992점, 패턴 매칭 알고리즘은 882점, 형상 매칭 알고리즘은 442점을 보였다. 즉, 기하 매칭 알고리즘이 가장 높은 표지판 인지 정확도를 보였다. 상대적으로 낮은 컬러 패턴 매칭 알고리즘과 형상 매칭 알고리즘은 RGB 이미지나 이진 이미지와 같이 색상 정보를 기반으로 매칭을 수행하기 때문에 조명의 세기에 큰 영향을 받는 것을 확인할 수 있었던 반면, 기하 매칭 알고리즘과 패턴 매칭 알고리즘의 경우 회색조 이미지를 통해 매칭을 수행하였기 때문에 광원 세기와 관계없이 상대적으로 높은 정확도를 보였다. 패턴 매칭 알고리즘의 경우 도로 표지판의 회색조 색 분포를 통해서 인지를 수행하였기 때문에 각도나 거리에 따른 정확도 저하가 일부분 나타나는 것을 확인하였다. 기하 매칭 알고리즘은 윤곽선의 형태와 기하인 형태를 통해 매칭을 수행하기 때문에 광원의 세기, 노이즈 등에 의한 성능 저하가 상대적으로 적으며, 객체의 이동, 회전, 스케일 변화로부터 상대적으로 안정적인 인지 성능을 확인할 수 있었다.

Fig. 8.

Graph showing the matching accuracy according to the distance change at (a) 0°, (b) ±30°, (c) ±45°.

기하 매칭 알고리즘은 거리와 각도 변화에 따른 도로 표지판 인지 정확도 실험에서 가장 높은 성능을 보였다. 그러나, 실제 지하광산은 자체적으로 탑재한 조명을 제외하고 갱도내에 조명이 없는 곳이 존재하며, 운반 갱도의 변화에 따른 여러 방향의 도로 표지판이 활용될 수 있다. 따라서 본 연구에서는 기하 매칭 알고리즘의 조명 여부와 도로 표지판의 형태에 따른 인지 정확도 변화에 대해 검증하였다. Table 5은 기하 매칭 알고리즘을 사용하여 좌측, 정면, 우측방향의 도로 표지판을 거리에 따라 인지한 실험결과를 나타낸다. 우측방향의 도로 표지판을 활용하였을 때와 같이 좌측, 정면 도로 표지판에서도 동일하게 안정적인 인지 성공률을 확인하였다.

Table 6은 로봇에 자체적으로 탑재한 조명 이외에 추가적인 조명이 없는 상태에서 기하 매칭 알고리즘을 활용한 도로 표지판 실험 결과를 나타낸다. 기하 매칭 알고리즘은 추가적인 조명이 없는 상태에서도 안정적인 도로 표지판 인지 정확도를 보여주었다. 윤곽선 검출 기반의 기하 매칭 알고리즘 방법은 도로 표지판의 형태가 배경과 명확하게 구분될 경우 조명 여부나 노이즈의 영향을 상대적으로 적게 받는 것을 확인할 수 있었다.

결 론

본 연구에서는 지하광산 환경에서 도로 표지판을 인지하기 위한 4종류의 매칭 알고리즘들을 평가하기 위한 실내 비교 실험을 수행하였다. 4종류의 매칭 알고리즘에 대해 거리, 각도 변화에 따른 정확도 변화를 비교하였고, 그 결과 기하 매칭 알고리즘은 평균적으로 992점의 매칭 스코어를 보이며, 거리와 각도 변화에도 가장 높은 인지 정확도를 보였다. 또한, 제한된 조명 환경에서도 높은 정확도를 보였고, 도로 표지판의 상징이 변하더라도 일정하게 가장 높은 정확도를 보였다.

광업 분야에서는 지하광산 작업장을 안전하게 탐사하기 위해 자율주행 로봇을 활용하는 연구가 다수 있었다. 이때, 지하광산 내부를 계획된 경로를 따라 주행하기 위해서 도로 표지판을 인지하는 연구도 수행되었다. 본 연구에서는 여러 종류의 표지판 인지 기법들을 비교하여 지하광산의 환경적인 특성들을 반영한 최적의 도로 표지판 인지 알고리즘을 선정하였고, 이를 통해 지하광산용 자율주행 시스템의 주행 정확도가 향상될 것으로 예상할 수 있었다.

본 연구에서는 안전상의 이유로 지하광산 현장을 모사한 실내실험장을 대상으로 실험을 수행하였지만, 실제 지하광산에서 추가적인 실험도 필요할 것이다. 또한, 머신비전 기반의 이미지 매칭 기법들뿐만 아니라 대량의 학습 데이터를 활용한 인공지능 기반의 객체 인지 기법들을 활용한다면 도로 표지판 인지 정확도가 향상될 것으로 예상할 수 있다.

지하광산은 Global Positioning System(GPS) 활용이 불가능하고, 차선이 없으며, 지상에 비해 조도가 낮으므로 자율주행 기술을 구현하기 위한 환경적인 어려움이 있다. 그러나, 지하광산 환경에서 자율주행 기술의 활용도를 높이기 위해서는 광범위한 환경인지가 가능한 비전 시스템의 개발 및 활용이 매우 중요할 것이다. 본 연구의 결과가 향후 지하광산에서 활용될 수 있는 자율주행 기술과 도로 표지판 인지 기술의 개발에 있어 유용한 참고자료가 될 수 있을 것이라 기대한다.