서 론

타워크레인은 수직 마스트 또는 타워와 상부 지브를 갖춘 양중 구조물로, 중량물을 인양한 뒤 선회 및 트롤리 이동을 통해 작업 반경 내 원하는 위치로 운반하는 핵심 건설장비이다(Occupational Safety and Health Administration, 2026). 일반적으로 기초부(foundation), 마스트(mast), 안전 플랫폼(access platform), 턴테이블(turntable), 운전실(operator’s cabin), 카운터붐(counter jib), 메인붐(main jib), 훅블록(hook block) 등으로 구성되며, 각 구성요소는 하중 지지, 회전, 인양, 이동 등 서로 다른 기능을 담당한다. 그러나 주요 구조부가 대부분 고소부에 위치하고, 설치 및 해체 등 구조 변경 작업이 반복되기 때문에 점검 작업의 위험성이 높다. 또한 부품 결손, 체결 불량, 누유, 부식, 변형 등의 결함이 발생할 경우 장비 전도, 인양물 낙하, 구조물 파손 등 중대 사고로 이어질 수 있다(Shin, 2015; Sadeghi and Zhang, 2024).

따라서 타워크레인의 안전한 운영을 위해서는 주요 구조부에 대한 정기적이고 정밀한 외관 점검이 필수적이다. 그러나 작업자가 직접 접근하여 육안검사를 수행하는 기존 방식은 시간, 접근성 및 안전성 측면에서 한계를 가진다. 이러한 한계를 보완하기 위한 방법으로 무인항공기(Unmanned Aerial Vehicle, UAV) 기반 원격 점검 기술이 주목받고 있으며, 건설 현장 안전점검 및 접근이 어려운 대형 구조물 외관검사에서 UAV 영상 취득 기술의 적용 가능성이 보고되고 있다(de Melo et al., 2017; Morgenthal and Hallermann, 2014). UAV는 작업자가 접근하기 어렵거나 위험한 고소부 구조물을 비접촉 방식으로 촬영할 수 있어 교량, 항만 크레인 및 컨테이너 크레인 등 대형 인프라의 외관 점검에 활용되고 있다(Panigati et al., 2025; Maboudi et al., 2021; Lyu et al., 2025). 이러한 UAV 기반 원격 점검 기술은 자원개발 현장에서도 사면, 운반도로, 생산설비 및 대형 장비와 같이 작업자 접근이 어렵거나 위험한 대상의 이상 징후를 파악하는 데 활용될 수 있다. 실제로 노천광산에서는 UAV 영상과 영상분석 기법을 활용하여 사면의 tension crack을 식별하거나(Winkelmaier et al., 2021), 채굴 유발 지표 균열을 딥러닝 기반 객체 탐지 모델로 탐지하는 연구가 보고되고 있다(An et al., 2025).

특히 UAV로 취득한 고해상도 영상은 딥러닝 기반 객체 탐지 및 영상 분할 모델과 결합되어 균열, 부식, 박리, 변형 등 구조물 표면 손상을 자동으로 탐지하거나 정량화하는 데 사용되고 있다(Kerle et al., 2019; Zhou et al., 2022; Lyu et al., 2025). 이러한 연구들은 UAV-AI(Artificial Intelligence) 기반 외관검사가 기존 인력 중심 점검의 안전성 및 효율성 한계를 보완할 수 있음을 보여준다.

한편, 타워크레인을 포함한 고위험 건설기계에 UAV 또는 AI 기반 외관검사 기술을 적용하려는 연구는 일부 보고되었으나, 그 범위는 아직 제한적이다(Yang et al., 2025b). 예를 들어, Wang et al.(2020)은 타워크레인의 부식 결함 탐지 및 분할 방법을 제시하였고, Jiao et al.(2024)은 UAV와 지능형 점검 시스템을 활용한 타워크레인 안전점검 방법을 제안하였다. 그러나 기존 연구는 주로 UAV 기반 점검 절차, 점검 시스템 구축, 또는 균열·부식과 같은 일반적인 표면 손상 탐지에 초점을 두고 있다. 이와 달리 타워크레인 사고는 표면 손상뿐만 아니라 주요 연결부 및 구동부의 부품 상태와도 밀접하게 관련될 수 있다. 예를 들어, Kim and Choi(2013)는 타워크레인 붕괴 사고에서 연결 볼트의 파손과 관련된 원인을 분석하였으며, 이는 볼트와 같은 부품 단위 요소가 타워크레인 안전성 평가에서 중요하게 고려될 필요가 있음을 보여준다. 따라서 실제 안전점검 및 유지관리에서는 균열, 부식과 같은 표면 손상뿐만 아니라 볼트 캡 결손, 볼트 결손, 스토퍼 패킹(stopper packing) 결손, 모터부 누유와 같이 부품의 존재 여부, 체결부 상태, 구동부 이상 징후를 나타내는 결함 요소를 함께 확인할 필요가 있다.

이에 본 연구에서는 타워크레인의 주요 구성요소 중 UAV 촬영 가능성, YOLO 기반 객체 탐지 적합성, 안전점검 중요도 및 데이터 확보 가능성을 고려하여 마스트 볼트 및 볼트캡, 턴테이블 모터박스, 메인붐 스토퍼를 탐지 대상으로 선정하였다. 이후 실제 UAV 영상을 중심으로 객체 탐지용 데이터셋을 구축하였으며, 일부 결함 클래스의 데이터 불균형을 보완하기 위해 합성 이미지를 추가로 활용하였다. 또한 You Only Look Once(YOLO) 계열의 large 모델인 YOLO11l을 학습·평가하여 타워크레인 주요 점검 항목의 정상 및 결함 상태에 대한 자동 탐지 가능성을 검토하였다. 이를 통해 고위험 건설기계 외관검사에서 UAV 영상과 AI 기반 객체 탐지 기술의 적용 가능성을 검토하고, 향후 노천광산을 포함한 자원개발 현장의 주요 시설 및 장비에 대한 자동화된 결함 탐지와 이상 징후 모니터링 기술로 확장될 수 있는 기초 사례를 제시하고자 한다.

연구방법

연구 대상 및 촬영 환경

본 연구에서는 UAV 영상 기반 타워크레인 외관 결함 탐지 가능성을 검토하기 위해 경기도 여주시 가남읍 하귀리에 위치한 타워크레인 야적장을 연구 대상지로 선정하였다. 연구 대상은 한국타워크레인사의 290HC-H 모델로, 실제 건설 현장에서 사용되는 타워크레인 모델 중 하나이다. 연구 대상지는 실제 시공이 이루어지는 건설 현장은 아니지만, 타워크레인이 조립된 상태에서 UAV를 이용한 근접 촬영과 다양한 시점의 영상 수집이 가능하다는 장점이 있다. 따라서 고소부 구조물의 외관 이미지 획득 및 객체 탐지 모델의 적용 가능성을 검토하기에 적합한 연구 환경을 제공하였다.

연구 대상 타워크레인은 일반적인 타워크레인의 10개 주요 구성요소 중 일부가 제외된 상태였다. 구체적으로, 건물 외벽 등에 타워크레인을 고정하여 전도를 방지하는 브레싱(bracing)과 마스트의 상승 및 해체 작업에 사용되는 텔레스코픽 케이지(telescopic cage)는 포함되어 있지 않았다. 그러나 기초부(foundation), 마스트(mast), 안전 플랫폼(access platform), 턴테이블(turntable), 운전실(operator’s cabin), 카운터붐(counter jib), 메인붐(main jib), 훅 블록(hook block) 등 타워크레인의 주요 구조부는 포함되어 있었다(Fig. 1). 따라서 본 연구의 목적인 UAV 영상 기반 주요 외관 결함 요소 탐지 모델 학습 및 실제 촬영 이미지 기반 적용 가능성 검토에는 충분한 구조적 조건을 갖춘 것으로 판단하였다.

Fig. 1.

Research site and target tower crane installed at the storage yard for UAV image acquisition. The tower crane overview image was partly adapted from Yang et al. (2025a).

UAV 영상 수집에는 DJI Matrice 300, DJI Mavic 3E, DJI Mini 4, Autel Robotics EVO II 등 총 네 종류의 UAV를 활용하였다. 이를 통해 실제 타워크레인 점검 환경에서 발생할 수 있는 촬영 거리, 시야각, 해상도, 기체 안정성 및 운용 조건의 차이를 데이터셋에 반영하고자 하였다. 촬영은 피사체 표면으로부터 약 5–10 m 거리에서 수행하였으며, 세부 부품 및 결함 요소가 충분히 식별될 수 있도록 약 1–2 m/s의 저속 비행 조건을 적용하였다. 비행 방식은 자동 경로 비행과 수동 제어 비행을 병행하였다. 자동 경로 비행은 마스트와 같이 반복적이고 수직적인 구조를 일정한 간격으로 촬영하는 데 활용하였으며, 수동 제어 비행은 턴테이블, 메인붐, 카운터붐 등 구조가 복잡하거나 특정 부품의 국부 촬영이 필요한 영역에 적용하였다.

촬영 과정에서는 전체 구조물의 전역 이미지와 주요 결함 후보 부위의 국부 이미지를 함께 확보하였다. 이를 통해 객체 탐지 모델 학습에 필요한 촬영 각도, 거리, 배경 조건의 다양성을 확보하고자 하였다.

탐지 대상 선정 기준

본 연구에서는 선행연구에서 제시된 타워크레인 외관검사 항목 및 손상 유형 분류 체계(Yang et al., 2025a)를 바탕으로, YOLO 기반 객체 탐지 모델 학습에 적합한 결함 요소를 선정하였다. 탐지 대상은 다음의 네 가지 기준을 종합적으로 고려하여 선정하였다. 첫째, UAV 영상에서 대상 부품이 충분히 촬영될 수 있는지에 대한 UAV 촬영 가능성, 둘째, 영상 내 형태, 색상, 질감, 경계 특징 또는 부품의 존재 유무를 기반으로 대상 부품의 위치와 정상·결함 상태를 bounding box 단위로 구분할 수 있는지에 대한 YOLO 기반 객체 탐지 적합성, 셋째, 해당 결함이 타워크레인 안전점검에서 갖는 중요도, 넷째, 실제 UAV 영상에서 학습 및 평가에 활용 가능한 데이터를 확보할 수 있는지에 대한 데이터 확보 가능성을 고려하였다.

이러한 기준에 따라 본 연구에서는 마스트 볼트, 턴테이블 모터박스, 메인붐 스토퍼를 최종 탐지 대상으로 선정하였다. 마스트 볼트는 마스트 단위 구조물을 연결하는 핵심 체결 부품으로, 볼트 및 볼트 캡의 결손 여부는 구조적 안정성과 부식 방지 측면에서 중요한 점검 항목이다. 또한 볼트와 볼트 캡은 UAV 영상에서 반복적으로 관찰되며, 정상 상태와 결손 상태의 유무 판단이 비교적 명확하므로 객체 탐지 모델 학습에 적합하다.

턴테이블 모터박스는 타워크레인의 회전 기능과 관련된 주요 구동부에 해당한다. 턴테이블은 타워크레인의 상부 구조물을 회전시키는 핵심 구성요소로, 모터박스 및 관련 구동부의 누유는 장비 운용 안정성 저하와 연결될 수 있다. 특히 해당 부위는 작업자가 직접 근접하여 확인하기 어렵고, UAV를 통해 외부에서 촬영할 수 있으므로 자동 외관검사 적용성이 높다.

메인붐 스토퍼는 트롤리 이동 구간의 말단부 또는 특정 제한 위치에서 트롤리 및 관련 부품의 이탈을 방지하는 안전 부품이다. 스토퍼 또는 스토퍼 패킹의 결손은 메인붐 상부 이동 장치의 안전성과 관련되므로 점검 중요도가 높다. 최종적으로 본 연구에서는 마스트 볼트 및 볼트캡, 턴테이블 모터박스, 메인붐 스토퍼를 YOLO 기반 결함 탐지 대상으로 선정하였다. 선정된 탐지 대상과 이에 대응하는 객체 탐지 클래스는 Table 1에 정리하였으며, 각 대상의 대표 UAV 촬영 이미지는 Fig. 2에 나타내었다. 이들 부위는 UAV 영상에서 비교적 명확하게 식별 가능하고, 정상 상태와 결함 상태의 시각적 차이가 존재하여 YOLO 기반 객체 탐지 모델 학습에 적합한 대상으로 판단하였다.

Fig. 2.

Representative UAV images of the target elements selected for YOLO-based defect detection: (a) bolt_cap_ok, (b) bolt_cap_missing, (c) bolt_missing, (d) turntable_motor_ok, (e) turntable_motor_oil_leak, (f) stopper_packing_ok, and (g) stopper_packing_missing. Red circles and enlarged views indicate the target components.

데이터셋 구축 및 라벨링

본 연구에서는 UAV 촬영을 통해 확보한 원본 이미지 중 객체 탐지 모델 학습에 적합한 이미지를 선별하여 데이터셋을 구축하였다. 각 촬영 세트별 원본 이미지 수는 DJI Matrice 300 촬영 이미지 887장, DJI Mavic 3E 촬영 이미지 2,195장, DJI Mini 4 촬영 이미지 428장, Autel Robotics EVO II 촬영 이미지 787장으로, 총 4,297장의 원본 이미지가 확보되었다. 촬영 당시 기상은 흐린 조건이었으며, 촬영 후반부에는 약한 강우가 발생하여 추가 촬영은 중단하였다.

원본 이미지 중 동일 장면이 반복 촬영된 중복 이미지, 결함 요소가 지나치게 작게 촬영되어 식별이 어려운 원거리 이미지, 흔들림이나 초점 불량으로 인해 부품 경계가 명확하지 않은 이미지는 제외하였다. 또한 탐지 대상 부품이 이미지 내에 명확히 포함되지 않거나 라벨링 기준을 일관되게 적용하기 어려운 이미지는 최종 데이터셋 구축 대상에서 제외하였다.

다만 실제 결함 사례가 부족한 일부 클래스에서 시각적 특징을 학습할 수 있는 보조 데이터를 확보하기 위해 Google Gemini 2.5 Flash Image 기반 이미지 생성 및 편집 기능을 활용하여 합성 이미지를 추가 생성하였다. 합성 이미지는 참조 이미지를 입력하는 image-to-image editing 방식과 텍스트 설명 기반 생성 방식을 병행하여 제작하였다. 합성 이미지 생성 시에는 실제 UAV 영상의 촬영 구도, 배경, 조명 조건 및 타워크레인 구조가 최대한 유지되도록 하였으며, 각 클래스의 정상 또는 결함 상태가 반영되도록 대상 부위만 수정되도록 프롬프트를 구성하였다. 생성된 이미지 중 구조적 왜곡이 발생하거나 실제 UAV 영상과 질감 및 색상 차이가 크게 나타나는 경우, 또는 라벨링 기준을 일관되게 적용하기 어려운 경우는 제외하였다. Fig. 3에는 실제 UAV 영상과 유사한 조건에서 생성된 합성 이미지의 대표 사례를 제시하였다.

Fig. 3.

Representative examples of synthetic images generated using Google Gemini 2.5 Flash Image: (a) bolt_cap_ok, (b) bolt_missing, and (c) turntable_motor_oil_leak.

볼트 및 볼트캡 관련 합성 이미지는 클래스별 예시 이미지를 참조 이미지로 입력한 뒤, 타워크레인 구조, 촬영 시점, 배경 및 조명 조건은 최대한 유지하고 대상 부위만 각 클래스의 상태에 맞게 수정되도록 프롬프트를 구성하였다. 구체적으로 bolt_cap_ok 클래스는 볼트와 볼트캡이 모두 존재하는 정상 상태가 표현되도록 하였으며, bolt_ missing 클래스는 볼트가 결손된 상태가 표현되도록 생성하였다. turntable_motor_oil_leak 클래스는 실제 모터박스 이미지를 입력한 뒤, 모터박스 주변에 기름 얼룩, 표면 오염 흔적, 색상 변화 또는 젖은 표면 질감이 나타나도록 텍스트 설명을 추가하였다. 이러한 생성 및 선별 과정을 거쳐 최종적으로 121장의 합성 이미지를 데이터셋에 포함하였다(Fig. 3).

라벨링은 CVAT(Computer Vision Annotation Tool)를 활용하여 수행하였다. 각 결함 요소는 YOLO 기반 객체 탐지 모델 학습에 적합하도록 bounding box 형식으로 주석 처리하였다. 라벨링 클래스는 타워크레인의 주요 구성요소와 결함 상태를 반영하여 총 7개로 정의하였다. 마스트 볼트 부위는 정상 볼트 캡, 볼트 캡 없음, 볼트 없음의 3개 클래스로 구분하였고, 턴테이블 모터박스는 정상 모터부와 누유 상태의 2개 클래스로 구분하였다. 메인붐 스토퍼는 정상 스토퍼 패킹과 스토퍼 패킹 없음의 2개 클래스로 정의하였다.

데이터셋 분할은 학습, 검증, 테스트 단계에서 동일 이미지 또는 유사 이미지가 중복 사용되지 않도록 구성하였다. 학습 데이터는 모델의 가중치 최적화에 사용하였고, 검증 데이터셋은 학습 과정에서 손실값과 성능 지표를 확인하고 최적 가중치를 선택하는 데 사용하였다. 테스트 데이터는 학습 완료 후 최종 모델의 탐지 성능을 독립적으로 평가하기 위해 사용하였다.

YOLO 학습 및 추론 환경

본 연구에서는 타워크레인 주요 외관 결함 요소의 자동 탐지를 위해 You Only Look Once(YOLO) 계열의 large 모델인 YOLO11l을 사용하였다. YOLO11은 Ultralytics에서 제공하는 객체 탐지 모델군으로, 객체 탐지, 인스턴스 분할, 이미지 분류, 자세 추정 등 다양한 컴퓨터비전 작업에 활용될 수 있다(Khanam and Hussain, 2024). 본 연구에서 모델 학습, 검증 및 추론은 Ultralytics YOLO 프레임워크를 이용하여 수행하였다. Ultralytics YOLO는 YOLO 계열 모델의 학습(train), 검증(validation), 예측(predict)을 통합적으로 수행할 수 있는 Python 기반 컴퓨터비전 프레임워크로, 객체 탐지 모델의 학습 설정, 데이터 증강, 성능 평가 및 결과 시각화 기능을 제공한다(Ultralytics YOLO Docs, 2025). 본 연구에서는 탐지 정확도와 학습 가능성을 고려하여 YOLO11l 모델을 선정하였다.

YOLO 계열 모델은 이미지 내 객체의 위치와 클래스를 동시에 예측하는 단일 단계 객체 탐지 구조를 기반으로 한다. 본 연구에서 다루는 볼트, 볼트 캡, 모터박스, 스토퍼 패킹은 UAV 영상 내 특정 영역에 국부적으로 나타나는 부품이며, 정상 상태와 결함 상태를 bounding box 단위로 구분할 수 있다. 따라서 YOLO11l 기반 객체 탐지 방식은 타워크레인 주요 외관 결함 요소 탐지에 적합하다고 판단하였다.

모델 학습은 사전학습된 YOLO11l 가중치를 기반으로 전이학습 방식으로 수행하였다. 주요 학습, 평가 및 추론 설정은 Table 2에 정리하였다. 입력 이미지 크기는 640 × 640 pixels로 설정하였으며, 총 200 epochs 동안 학습을 수행하였다. Batch size는 제한된 GPU 메모리 환경을 고려하여 4로 설정하였고, optimizer는 Ultralytics YOLO의 auto 설정을 사용하였다. 학습 데이터 증강에는 HSV 색상 변환, 이미지 이동, 스케일 조정, 좌우 반전, mosaic augmentation, random augmentation, erasing 등이 적용되었다.

학습 완료 후 최적 가중치를 이용하여 테스트셋에 대한 정량 평가를 수행하였다. 평가는 Ultralytics YOLO 프레임워크의 검증 기능을 이용하여 수행하였으며, 학습 및 검증 과정에 사용되지 않은 테스트 데이터셋을 평가 대상으로 지정하였다. 입력 이미지 크기는 640 pixels, confidence threshold는 0.001로 설정하였다. 또한 학습된 모델의 추론 결과를 시각적으로 확인하기 위해 테스트 이미지에 대한 추론을 수행하였고, 추론 결과 시각화에서는 confidence threshold를 0.25로 설정하였다. 모델 학습 및 추론은 NVIDIA GeForce RTX 4070 Laptop GPU가 탑재된 컴퓨팅 환경에서 수행하였다.

평가 방법

본 연구는 UAV 영상에서 타워크레인의 소형 부품 및 결함 요소를 bounding box 단위로 탐지하는 객체 탐지 문제이므로, 모델의 오탐, 미탐, 객체 검출 여부 및 위치 정확도를 함께 평가할 수 있는 지표가 필요하다. 이에 모델 성능은 Precision, Recall, mAP@50, mAP@50–95를 기준으로 평가하였다. Precision은 모델이 결함 또는 부품으로 예측한 객체 중 실제 정답 객체의 비율을 의미하며, 오탐 여부를 평가하는 데 활용된다. Recall은 실제 객체 중 모델이 올바르게 탐지한 객체의 비율로, 미탐 여부를 평가하는 데 사용된다. mAP@50은 IoU 0.5 기준에서의 평균 정밀도를 의미하며, mAP@50–95는 IoU 0.5부터 0.95까지의 여러 기준에서 평균 탐지 성능을 평가하는 지표이다. 여기서 Intersection over Union(IoU)은 예측 bounding box와 실제 정답 bounding box가 겹치는 정도를 나타내며, 두 영역의 교집합 면적을 합집합 면적으로 나눈 값으로 정의된다. mAP@50은 객체의 탐지 가능성을 확인하는 데 유용한 반면, mAP@50–95는 더 엄격한 IoU 기준을 포함하므로 bounding box 위치 정확도까지 함께 평가하는 데 활용된다. 본 연구의 전체 절차는 UAV 영상 취득, 데이터 준비, YOLO11l 기반 모델 학습, 테스트셋 기반 성능 평가 및 탐지 결과 시각화의 네 단계로 구성되며, 전체 연구 파이프라인은 Fig. 4에 나타내었다.

Fig. 4.

Overall workflow of the proposed UAV image-based tower crane defect detection framework, including UAV image acquisition, data preparation, YOLO11l training, test-set evaluation, and detection result visualization.

연구결과

데이터셋 구축 결과

최종적으로 본 연구에서는 실제 UAV 촬영 이미지 229장과 합성 이미지 121장을 포함하여 총 350장의 객체 탐지 데이터셋을 구축하였다. 최종 데이터셋에서 실제 UAV 이미지는 65.4%, 합성 이미지는 34.6%를 차지하였다. 본 연구는 단일 야적장에 설치된 타워크레인을 대상으로 수행되었기 때문에, 실제 촬영만으로는 일부 결함 및 부품 상태에 대한 충분한 사례를 확보하는 데 한계가 있었다. 이에 실제 UAV 이미지를 중심으로 데이터셋을 구성하되, 데이터 불균형을 보완하기 위해 합성 이미지를 추가로 활용하였다. UAV 촬영을 통해 확보한 4,297장의 원본 이미지에는 타워크레인 전체 구조 파악을 위한 전역 이미지와 주요 부품의 식별을 위한 국부 이미지가 함께 포함되었다. 또한 반복 및 중첩 촬영으로 인한 중복 또는 유사 이미지가 함께 포함되어 있었다. 이에 탐지 대상 미포함 이미지, 중복 또는 유사 이미지, 원거리 이미지, 영상 품질이 낮은 이미지, 라벨링 기준 적용이 어려운 이미지를 순차적으로 제외하였다(Table 3). 최종 데이터셋은 학습용 242장, 검증용 49장, 테스트용 59장으로 구성되었으며, 합성 이미지는 학습 데이터셋에 83장, 검증 데이터셋에 19장, 테스트 데이터셋에 19장 포함되었다. 또한 각 이미지에는 객체 탐지 학습을 위한 라벨 파일이 1:1로 대응되도록 정리하였다. 데이터 분할은 단순 이미지 수 비율만을 기준으로 수행하지 않고, 학습·검증·테스트 데이터셋 간 클래스별 객체 분포가 유사하게 유지되도록 조정하였다. 이는 특정 클래스가 학습·검증·테스트 데이터 중 어느 한쪽에 편중되는 것을 방지하고, 모델 학습 및 평가 과정에서 클래스별 성능을 보다 안정적으로 비교하기 위함이다.

객체 탐지 클래스는 마스트 볼트 및 볼트캡, 턴테이블 모터박스, 메인붐 스토퍼 패킹의 정상 및 결함 상태를 반영하여 총 7개로 정의하였다. CVAT를 이용하여 bounding box 라벨링을 수행한 결과, 전체 데이터셋에서 총 1,027개의 객체 인스턴스가 구축되었다. 이 중 학습 데이터에는 708개, 검증 데이터에는 141개, 테스트 데이터에는 178개의 객체 인스턴스가 포함되었다(Table 4).

전체 클래스 중 bolt_cap_missing 클래스가 431개로 가장 많은 비중을 차지하였으며, stopper_packing_missing 클래스는 55개로 가장 적은 인스턴스를 보였다. 마스트 관련 클래스인 bolt_cap_missing, bolt_cap_ok, bolt_missing은 전체 객체 인스턴스의 약 77.3%를 차지하였다. 반면, 메인붐 스토퍼 관련 클래스와 턴테이블 관련 클래스는 각각 약 11.6%와 11.1%로 나타났다. 이는 마스트 볼트 및 볼트캡이 구조적으로 반복 배치되어 UAV 영상에서 다수 관찰되는 반면, 턴테이블과 메인붐 스토퍼는 특정 위치에 제한적으로 존재하기 때문으로 판단된다.

따라서 본 데이터셋은 타워크레인 고소부에서 반복적으로 관찰되는 마스트 체결부 중심의 객체 인스턴스를 상대적으로 많이 포함하고 있으며, 일부 결함 클래스에서는 데이터 불균형이 존재하는 것으로 확인되었다. 이러한 클래스별 인스턴스 분포는 이후 YOLO11l 모델의 클래스별 탐지 성능을 해석하는 주요 근거로 활용하였다.

모델 학습 결과

YOLO11l 기반 타워크레인 결함 탐지 모델은 총 200 epochs 동안 학습되었으며, 학습 과정에서 box loss, precision, recall, mAP@50, mAP@50–95를 이용하여 모델의 수렴성과 탐지 성능 변화를 확인하였다(Fig. 5). 전체 학습 시간은 약 2,619초로, 약 43.7분이 소요되었다.

Fig. 5.

Training curves of the YOLO11l-based defect detection model: (a) box loss, (b) mAP@50, (c) mAP@50–95, and (d) precision and recall.

학습 결과, train box loss는 초기 1.82 수준에서 최종 epoch 기준 0.59 수준까지 지속적으로 감소하였다. 반면 validation box loss는 초기 단계에서 큰 변동을 보인 후 학습이 진행됨에 따라 감소하였으나, 최종적으로 약 1.13 수준에서 안정화되었다. 이러한 train loss와 validation loss의 차이는 제한된 데이터셋 규모와 클래스 불균형 조건에서 일부 과적합 가능성이 존재함을 시사한다. 따라서 검증 데이터셋 결과는 최종 성능 평가가 아니라, 학습 과정에서 선택된 가중치의 수렴 상태와 과적합 가능성을 확인하기 위한 참고 지표로 해석하였다.

성능 지표의 경우, mAP@50은 학습 초반 빠르게 증가하였으며, 약 120 epoch 이후 0.90 이상 수준에서 안정적인 값을 보였다. 학습 과정에서 가장 높은 mAP@50은 141 epoch에서 0.937로 나타났으며, mAP@50–95는 161 epoch에서 최대 0.698을 기록하였다. 최종 epoch 기준으로는 precision 0.904, recall 0.866, mAP@50 0.911, mAP@50–95 0.672를 보였다.

검증 데이터셋 기준 성능은 Precision 0.916, Recall 0.875, mAP@50 0.924, mAP@50–95 0.697로 나타났다(Table 5). 이는 최종 성능 평가 결과가 아니라, 학습 과정에서 선택된 가중치의 수렴 상태와 검증 데이터셋에 대한 탐지 경향을 확인하기 위한 지표로 해석하였다. 실제 일반화 성능은 학습 및 검증 과정에 사용되지 않은 테스트 데이터셋을 대상으로 별도로 평가하였으며, 그 결과는 3.3절에서 제시하였다.

테스트셋 평가 및 추론 결과

학습이 완료된 YOLO11l 모델의 최종 탐지 성능을 확인하기 위해, 학습 및 검증 과정에서 사용하지 않은 테스트 데이터셋을 대상으로 성능 평가와 추론을 수행하였다. 평가는 학습 과정에서 저장된 최적 가중치를 이용하였으며, 테스트 데이터셋은 총 59장의 이미지와 178개의 객체 인스턴스로 구성되었다.

테스트셋 평가 결과, 전체 Precision은 0.849, Recall은 0.779, mAP@50은 0.878, mAP@50–95는 0.670으로 나타났다(Table 6). 이는 학습된 YOLO11l 모델이 UAV 영상에서 타워크레인의 주요 정상 부품 및 결함 요소를 전반적으로 탐지할 수 있음을 보여준다. 특히 mAP@50 기준으로 0.878의 성능을 보여, 정상 부품과 결함 부품의 위치 및 클래스를 비교적 안정적으로 예측하는 것으로 확인되었다. mAP@50–95는 0.670으로 mAP@50에 비해 낮게 나타났으며, 이는 작은 객체 또는 원거리 촬영 이미지에서 bounding box의 위치 정밀도가 상대적으로 저하되었음을 의미한다.

클래스별 성능을 살펴보면, bolt_cap_ok 클래스는 Precision 0.978, Recall 0.926, mAP@50 0.968로 가장 높은 값을 보였다. 이는 볼트캡이 반복적이고 규칙적인 형상을 가지며, UAV 영상 내에서 비교적 일관된 형태로 나타났기 때문으로 판단된다. stopper_packing_ok, turntable_motor_oil_leak, turntable_motor_ok는 mAP@50 기준으로는 비교적 높은 값을 보였으나, turntable_motor_ok는 Precision이 낮고 turntable_motor_oil_leak은 Recall이 낮아 클래스별 오탐 및 미탐 특성이 서로 다르게 나타났다. turntable_motor_ok 클래스는 Precision이 0.680으로 상대적으로 낮았으나, Recall 0.900, mAP@50 0.885로 나타나 실제 정상 모터박스의 탐지 성능은 양호한 수준으로 확인되었다. Precision 저하는 턴테이블 주변에 정상 모터박스와 유사한 구동부 또는 박스형 구조물이 함께 존재하고, 일부 누유 모터박스가 정상 모터박스로 예측된 사례가 오탐으로 작용했기 때문으로 판단된다. 다만 일부 클래스는 테스트 인스턴스 수가 10개 내외로 제한되어 있으므로, 클래스별 성능값은 일반화된 성능으로 단정하기보다 본 테스트셋 내에서 관찰된 탐지 경향으로 해석할 필요가 있다.

반면, bolt_missing 클래스는 mAP@50 0.682, mAP@50–95 0.415로 다른 클래스에 비해 상대적으로 낮은 성능을 보였다. 볼트 결손은 객체 크기가 작고, 촬영 거리와 각도에 따라 결손 부위의 경계가 명확하게 드러나지 않는 경우가 많기 때문에 위치 정밀도가 낮아진 것으로 판단된다. 또한 turntable_motor_oil_leak 클래스는 Precision 0.922로 높았으나 Recall은 0.500으로 낮게 나타났다. 이는 모델이 누유로 예측한 경우에는 비교적 정확했지만, 실제 누유 사례 중 일부는 탐지하지 못했음을 의미한다. 누유는 볼트나 스토퍼 패킹처럼 명확한 형상 변화로 나타나기보다 표면 오염, 색상 변화, 젖은 질감과 같은 시각적 단서로 나타나므로, 촬영 거리, 조명 조건 및 배경 색상에 따라 정상 모터박스와의 구분이 어려워질 수 있다. 또한 테스트셋의 turntable_motor_oil_leak 인스턴스 수가 8개로 제한되어 있어, 해당 Recall 값은 본 테스트셋에서 관찰된 탐지 경향으로 해석할 필요가 있다.

대표 추론 결과는 Fig. 6에 제시하였다. Fig. 6(a)–(f)는 모델이 대상 부품 또는 결함 요소를 올바르게 검출한 사례이며, Fig. 6(g)–(i)는 오탐 또는 미탐이 발생한 사례이다. 정상 탐지 사례에서는 마스트 볼트캡, 메인붐 스토퍼 패킹, 턴테이블 모터박스가 각각 검출되었으며(Fig. 6(a)–(c)), 결함 탐지 사례에서는 볼트캡 결손과 턴테이블 모터박스 누유가 탐지되었다(Fig. 6(d), Fig. 6(f)). 또한 동일 이미지 내에서 정상 스토퍼 패킹과 결손 스토퍼 패킹이 함께 검출된 사례도 확인되었다(Fig. 6(e)). 이를 통해 UAV 영상 기반 객체 탐지 모델이 타워크레인의 주요 정상 부품 및 결함 요소를 자동으로 식별할 수 있음을 확인하였다.

Fig. 6.

Representative correct and incorrect detection results of the YOLO11l-based tower crane defect detection model. Yellow- and red-bordered enlarged views show correct and incorrect detection examples, respectively.

일부 이미지에서는 오탐 및 미탐 사례도 확인되었다. 볼트캡 결손과 볼트 결손이 혼동된 사례(Fig. 6(g)), 실제 스토퍼 패킹이 존재함에도 stopper_packing_missing으로 탐지된 사례(Fig. 6(h)), 실제 누유가 존재하지만 turntable_motor_ok로 탐지된 사례(Fig. 6(i))가 나타났다. 이러한 오탐 및 미탐은 작은 객체 크기, 원거리 촬영, 주변 구조물과의 형상 유사성, 낮은 색상 대비 등으로 인해 모델이 정상 상태와 결함 상태를 명확히 구분하지 못한 결과로 해석된다.

종합적으로 YOLO11l 모델은 UAV 영상에서 타워크레인의 주요 정상 부품 및 결함 요소를 탐지할 수 있는 가능성을 보였다. 특히 볼트캡 정상 여부, 스토퍼 패킹 유무, 턴테이블 모터박스 누유와 같이 시각적 특징이 비교적 명확한 클래스에서는 탐지 가능성이 확인되었다. 반면, 작은 객체이거나 촬영 각도와 배경의 영향을 크게 받는 볼트 결손, 스토퍼 패킹 결손 및 일부 누유 사례에서는 오탐, 미탐 또는 위치 정밀도 저하가 발생하였다.

토 의

학습 과정의 검증 결과와 최종 테스트셋 평가 결과를 비교하면, 테스트셋에서 Precision과 Recall이 상대적으로 낮게 나타났다. 그러나 이러한 차이를 테스트 이미지의 촬영 거리, 객체 크기, 배경 구조물, 조명 조건 차이만으로 단정하기는 어렵다. 본 연구의 데이터셋은 규모가 제한적이고 클래스별 인스턴스 수가 불균형하며, 일부 클래스에는 합성 이미지가 포함되어 있다. 또한 Fig. 5에서 train box loss는 지속적으로 감소한 반면 validation box loss는 일정 수준에서 안정화되는 경향을 보여, 일부 과적합 가능성이 존재하는 것으로 판단된다. 다만 최적 가중치를 적용한 테스트셋 평가에서 mAP@50 0.878, mAP@50–95 0.670의 성능이 유지되었으므로, 학습 데이터에 대한 단순 과적합으로 인해 테스트 성능이 급격히 저하된 것으로 보기는 어렵다. 따라서 테스트셋에서 Precision과 Recall이 낮게 나타난 현상은 제한된 데이터셋 규모, 클래스별 인스턴스 불균형, 합성 이미지 활용, 소형 객체의 위치 정밀도 저하 등이 복합적으로 작용한 결과로 해석된다.

클래스별로는 bolt_cap_ok와 stopper_packing_ok가 비교적 높은 탐지 성능을 보였으며, 이는 해당 부품들이 반복적인 형상과 비교적 명확한 외관 특징을 가지기 때문으로 판단된다. 반면 bolt_missing은 객체 크기가 작고, 촬영 거리와 각도에 따라 볼트의 부재 여부나 결손 부위의 경계가 명확하게 드러나지 않아 상대적으로 낮은 mAP@50–95를 보였다. turntable_motor_ok는 Recall과 mAP@50은 비교적 높았으나 Precision이 낮게 나타났으며, 이는 턴테이블 주변의 유사한 박스형 구조물 또는 배경 요소가 오탐에 영향을 미쳤을 가능성이 있다. 또한 turntable_motor_oil_leak은 Precision은 높았으나 Recall이 낮게 나타나, 모델이 누유로 예측한 사례는 비교적 정확했지만 실제 누유 사례 중 일부는 탐지하지 못한 것으로 해석된다. 스토퍼 패킹의 경우 주변 구조물과 형상 또는 색상이 유사하여 정상 부품이 결손으로 오인될 수 있었으며, 동일 이미지 내에 여러 개의 유사 객체가 함께 촬영될 경우 일부 객체가 탐지되지 않는 사례도 확인되었다. 이는 작은 객체 크기, 인접 객체 간 경계 중첩, 그림자, 낮은 색상 대비 등이 탐지 성능에 영향을 미칠 수 있음을 보여준다.

이러한 결과를 고려할 때, 타워크레인 결함 탐지 모델의 성능 향상을 위해서는 단순히 전체 이미지 수를 늘리는 것보다 클래스별 성능 저하 요인을 보완하는 데이터 구축이 필요하다. 작은 부품 결함에 대해서는 고해상도 근접 촬영, 관심영역 기반 영상 절취 또는 패치 분할 기반 학습을 통해 위치 정밀도를 높일 필요가 있으며, 동일 구성요소가 한 이미지에 여러 개 포함되는 사례도 추가 확보해야 한다. 또한 다양한 타워크레인 모델, 촬영 거리, 조명 조건 및 배경 구조물을 포함한 데이터를 추가 확보하여 모델의 일반화 성능을 높일 필요가 있다. 누유 사례에 대해서는 다양한 누유 정도와 조명 조건을 포함한 실제 이미지를 추가 확보하고, 필요 시 세그멘테이션 기반 누유 영역 분석을 병행할 필요가 있다. 또한 본 연구에서는 일부 클래스의 데이터 부족을 보완하기 위해 합성 이미지를 활용하였으며, 이는 실제 촬영만으로 충분한 사례를 확보하기 어려운 결함 및 부품 상태의 학습 사례를 보완하는 역할을 하였다. 따라서 본 연구의 성능 평가는 실제 UAV 영상과 합성 이미지가 함께 포함된 데이터셋 조건에서의 결과이며, 실제 현장 환경에서의 일반화 성능으로 직접 해석하는 데에는 한계가 있다. 향후 실제 결함 이미지 중심의 독립 테스트셋을 구축하고, 경로점 기반 반복 촬영을 통해 촬영 조건을 표준화하여 모델의 일반화 성능을 추가 검증할 필요가 있다고 판단된다. 또한 합성 이미지 포함 여부에 따른 성능 차이를 비교하여 합성 이미지 활용이 모델 성능에 미치는 영향을 정량적으로 검증할 필요가 있다.

한편, UAV 기반 점검 방식은 작업자가 타워크레인 고소부에 직접 접근하지 않고도 주요 부품의 외관 상태를 영상으로 확보할 수 있다는 점에서 점검 안전성 향상에 기여할 수 있다. 본 연구의 현장 촬영은 약 2시간 동안 수행되었으나, 이는 다양한 UAV, 촬영 거리, 시야각 및 운용 조건을 반영한 데이터셋 구축 목적의 촬영 시간이다. 따라서 향후 점검 대상 부품과 촬영 경로가 표준화될 경우 현장 촬영 시간은 단축될 수 있을 것으로 판단된다. 또한 학습된 YOLO11l 모델의 테스트 이미지 추론은 본 연구의 컴퓨팅 환경에서 이미지당 약 20.2 ms 수준으로 수행되어, 반복 점검 과정에서 조사 시간과 육안 검토 부담을 줄이는 데 활용될 수 있을 것으로 판단된다.

결 론

본 연구에서는 타워크레인의 UAV 영상 기반 외관검사 자동화를 위해 YOLO11l 기반 객체 탐지 모델을 구축하고, 주요 결함 요소의 자동 탐지 성능을 분석하였다. 이를 위해 타워크레인의 주요 구성요소 중 UAV 촬영 가능성, YOLO 기반 객체 탐지 적합성, 안전점검 중요도 및 데이터 확보 가능성을 고려하여 마스트 볼트 및 볼트캡, 턴테이블 모터박스, 메인붐 스토퍼를 탐지 대상으로 선정하였다. 이후 UAV 촬영을 통해 확보한 원본 이미지에서 학습에 적합한 이미지를 선별하고, 일부 결함 클래스의 데이터 부족을 보완하기 위한 합성 이미지를 포함하여 객체 탐지용 데이터셋을 구축하였다.

구축된 데이터셋을 이용하여 YOLO11l 모델을 학습한 결과, 테스트 데이터셋에서 전체 Precision 0.849, Recall 0.779, mAP@50 0.878, mAP@50–95 0.670의 성능을 보였다. 특히 마스트 볼트캡 정상 여부, 메인붐 스토퍼 패킹 유무, 턴테이블 모터박스 상태와 같이 시각적 특징이 비교적 명확한 클래스에서는 안정적인 탐지 가능성을 확인하였다. 반면, 볼트 결손과 같이 객체 크기가 작거나 촬영 거리, 각도, 배경 구조물의 영향을 크게 받는 클래스에서는 상대적으로 낮은 탐지 성능이 나타났다. 또한 스토퍼 패킹 결손 및 모터부 누유와 같은 일부 클래스에서는 오탐 및 미탐 사례가 확인되어, 실제 현장 적용을 위해서 추가적인 데이터 확보와 촬영 조건 표준화가 필요함을 확인하였다.

본 연구는 타워크레인의 실제 점검 항목을 UAV 영상 기반 객체 탐지 문제로 구조화하고, 실제 UAV 이미지와 합성 이미지를 포함한 데이터셋을 이용하여 주요 정상 부품 및 결함 요소의 자동 탐지 가능성을 예비적으로 검증했다는 점에서 의의가 있다. 다만, 본 연구는 단일 야적장에 설치된 단일 타워크레인 모델을 대상으로 수행되었으므로, 다양한 제조사 및 모델에 대한 일반화 성능은 검증되지 않았다. 향후 연구에서는 다양한 타워크레인 모델과 촬영 환경, 실제 결함 사례를 포함한 데이터셋을 확장하고, 소형 결함 요소의 탐지 성능 향상을 위해 고해상도 근접 촬영, 관심영역 기반 영상 절취, 패치 기반 학습 및 반복 촬영 경로 설정 기법을 적용할 필요가 있다. 나아가 UAV 기반 영상 취득, AI 기반 결함 탐지, 구성요소별 결함 위치 표시, 점검 이력 관리 및 자동 보고서 생성을 통합함으로써, 작업자 접근 위험과 반복 점검 과정의 육안 검토 부담을 줄일 수 있는 타워크레인 외관검사 전주기 자동화 시스템으로 확장할 수 있을 것으로 기대된다.