서 론

한국광해광업공단의 ｢2024년도 광산재해통계｣에 따르면 국내 305개 가행광산에서 27건의 광산재해가 발생하여 28명(사망 3명, 중상 19명, 경상 6명)의 재해자가 발생하였으며, 이는 2023년 22명보다 6명 증가한 수치이다(KOMIR, 2025). 광산 작업장은 지질조건, 환기상태, 발파·굴진·운반 공정과 기계·전기설비가 동시에 작용하는 복합적인 위험환경이며, 낙반과 붕괴, 발파 및 불발공, 메탄·일산화탄소 등의 유해가스, 산소부족, 분진, 화재와 감전은 단일 원인보다 작업조건과 설비 이상의 결합으로 확대될 수 있다(Lopez et al., 2024; MOTIE, 2024). 이를 위해 광산 안전관리직원과 현장 책임자는 작업 전 위험요인을 확인하고 작업 중 이상징후를 점검하며, 위험 발생 시 작업중지, 대피, 출입통제, 보고 및 기록이 이루어지도록 안전관리 업무를 수행한다(MOLEG, 2026a-2026c). 또한 중대재해가 발생한 경우에는 광산안전 관련 법령뿐 아니라 사업주의 안전·보건 확보의무와 이행 여부를 다루는 중대재해처벌법과 연계될 수 있으므로, 현장 조치와 관련 근거 및 이행기록을 함께 확인할 필요가 있다(MOLEG, 2026d).

광산 안전 정보는 법률, 시행령·시행규칙, 기술기준, 업무지침, 안전교육 문서와 재해사례 등에 분산되어 있어, 광산 현장 근로자 또는 안전관리자가 특정 상황에 필요한 기준과 조치를 직접 찾아 연결하는 데 오랜 시간과 노력이 소요된다. 이러한 문제점을 해결하기 위해서는 복합적인 작업상황과 위험요인을 신속하게 파악하고, 여러 공식 문서에 흩어진 관련 기준과 현장 조치를 통합하여 제공할 수 있는 정보지원 기술이 필요하다. 범용 대규모 언어모델(large language model, LLM)은 자연스러운 설명을 제공할 수 있으나, 출처가 불명확하거나 존재하지 않는 조항·수치를 제시하고 필수 안전조치를 누락할 수 있는 문제가 있다(Huang et al., 2023; An et al., 2025). 특히 안전 또는 위험 분야에서는 그럴듯한 오답도 실제 행동에 영향을 줄 수 있으므로, 답변의 생성능력과 함께 답변의 근거성과 제한조건을 관리해야 할 필요가 있다(An et al., 2025).

앞서 제시한 범용 LLM의 근거 불명확성과 전문문서 반영 한계를 보완하기 위한 방법으로 검색증강생성(retrieval-augmented generation, RAG)이 활용되고 있다. RAG는 외부 문서를 검색 가능한 지식원으로 구성하고 사용자 질문과 관련된 문서 조각을 LLM의 답변 생성 과정에 제공하는 방식이다(Lewis et al., 2020). 문서 수집, 텍스트 조각 분할, 임베딩, 검색 및 생성의 단계를 통해 최신 또는 도메인 특화 문서 데이터에 근거한 답변을 유도할 수 있으나, 검색결과의 품질이 낮으면 무관한 문서가 답변 오류를 유발할 수도 있다(Asai et al., 2022; Hu and Lu, 2024). 에너지 분야에서는 다중 출처 문서 저장소와 그래프 기반 RAG가 기술자료 탐색과 질의응답에 활용되고 있으며(Arslan et al., 2024; Campi et al., 2026; Weers et al., 2024), Mirshekali et al.(2025)은 에너지 예측, 고장 진단, 문서 자동화 및 전력시스템 운영 등 에너지 분야의 LLM 활용과 설명 가능성·일반화·확장성의 과제를 검토하였다. 산업안전 분야에서도 작업기록 기반 안전보고서 생성과 사고사례 기반 위험관리 지침 생성이 연구되었다(Bernardi et al., 2024; Baek et al., 2025).

광산 분야의 인공지능 연구는 특정 위험요인을 식별하거나 제한된 지식원을 검색하는 과업을 중심으로 전개되어 왔다. Qiang et al.(2025)은 사전학습 언어모델을 이용하여 광산 안전 위험요인을 자동 분류하였고, Zheng et al.(2024)은 가스 안전 지식그래프와 RAG를 결합하여 가스 관련 지식을 검색하는 구조를 제안하였다. Lopez et al.(2024)은 지하광산의 낙반 관련 지질위험을 영상으로 식별하는 모바일 애플리케이션을 개발하였으며 Qian and Shi(2025)는 지반조사와 지질특성화 업무에 LLM을 적용하는 방법을 제시하였다. 이들 연구는 각각 위험 분류, 특정 지식그래프 검색, 시각적 위험 식별 또는 지반계획 지원에 초점을 두었으며, 국내 광산안전 법령·기술기준·업무지침과 중대재해처벌법 관련 문서를 함께 검색하고 근거 충분성에 따라 응답 경로를 구분하는 통합 지원흐름은 주요 연구대상이 아니었다. 또한 공식 문서의 근거로부터 필요한 현장 조치와 이행기록 추천 및 위험성평가 초안을 하나의 사용자 흐름에서 연결하는 방법도 충분히 다루어지지 않았다.

본 연구의 목적은 광산 안전 관련 문서의 검색과 현장 조치 중심 답변, 출처 확인 및 기록 준비를 연결하는 LLM-RAG 기반 지원시스템 MineSafe AI를 개발하는 데 있다. 연구자가 사전에 구축한 문서 데이터베이스에서 질문에 필요한 근거를 검색하도록 하여, 사용자가 질의할 때마다 관련 자료를 직접 수집·선별·첨부하는 부담을 줄이고자 하였다. 검색자료의 구성과 생성 상태에 따라 추가 확인 안내 또는 규칙형 대체 응답을 제공하고, 필요 이행기록과 위험성평가 초안을 답변에 연결하도록 설계하였다.

연구방법

MineSafe AI는 광산 현장관리자와 근로자의 자연어 질문을 분석하고, 관련 공식 문서와 현장 조치를 함께 제시하는 LLM-RAG 기반 지원시스템이다. 공식 문서 지식원, 질문 처리와 응답제어, 안전관리 업무 지원기능의 관계를 Fig. 1에 제시하였다.

Fig. 1.

Conceptual relationships among official document sources, question processing and response control, and mine safety management support.

연구내용은 자료 선정, 텍스트 추출·전처리, 문서 구조화·벡터 데이터베이스 구축, MineSafe AI 설계·구현, 기술평가·보관 출력 검토 및 안전관리 업무 지원기능의 여섯 항목으로 정리하였다(Fig. 2). 자료 구축, 질문 처리와 응답제어, 평가방법과 보관 사례의 검토, 필요 이행기록과 위험성평가 초안의 구성은 이어지는 각 절에서 설명하였다.

Fig. 2.

Overview of data preparation, system development, technical evaluation, and safety-management support functions.

광산 안전문서 데이터 구축 방법

연구 데이터 선정

검색용 자료는 초기 PDF 원문 13개와 중대재해처벌법 관련 추가 PDF 4개로 구성하였다. 초기 자료에는 ｢중대재해 처벌 등에 관한 법률｣과 시행령, ｢산업안전보건법｣ 및 ｢광산안전법｣과 각 법령의 시행령·시행규칙, ｢광산안전기술기준｣과 ｢광산안전업무 처리지침｣을 포함하였다. 안전보건관리 안내자료로는 ｢산업재해 예방을 위한 안전보건관리체계 가이드북｣, ｢중대재해처벌법 대비 안전보건관리체계 구축 자율점검표｣ 및 ｢새로운 위험성평가 안내서｣를 사용하였다. 추가 자료는 ｢중대재해처벌법 따라하기｣ 안내서, ｢중대재해처벌법｣ 중대산업재해 질의회시집, ｢중대재해처벌법 해설 — 중대산업재해 관련｣ 및 ｢중대재해처벌법령 FAQ 【중대산업재해 부문】｣이다. 이들 원문을 검색과 답변 생성에 사용하는 텍스트 조각인 청크(chunk)로 나누어 데이터베이스를 구축하였다.

재해사례 검수에는 고용노동부의 ｢2025 중대재해 사이렌｣ 통합 책자 1개와 2026년 1~3월 건설·제조·기타업종별 자료 9개, 총 10개 PDF를 사용하였다. 여러 업종의 사고상황·원인·예방조치에서 광산 안전과 관련된 사례 후보를 추출하고 정제·검수하였다. 사례자료는 검색용 법령·지침과 별도로 관리하였으며, 검수가 완료된 사례만 공식 답변 근거에 포함하도록 하였다. 자료는 광산 안전과의 관련성, 기관정보 및 출처 확인 가능성을 기준으로 선정하였다. 자료군별 구성과 활용목적은 Table 1에, 개별 원문의 제목과 기관·발행·시행·개정정보는 부록 A에 제시하였다.

문서 수집 및 전처리

텍스트 레이어가 있는 PDF는 Python 기반 추출 스크립트로 본문을 수집하였고, 스캔 이미지 형태의 문서는 Tesseract 광학문자인식(optical character recognition, OCR)의 한국어·영어(kor+eng) 설정을 이용하였다. 재해사례 원자료에는 자동 활용 가능 여부와 원문 대조 필요성을 구분하기 위해 페이지별 품질상태를 부여하였다. 본문 내용과 개별 사고사례의 시작·끝을 판독할 수 있는 페이지는 활용 가능(pass), 일부 문자오류나 열 혼합으로 원문 대조가 필요한 페이지는 추가 검토(review), 내용을 안정적으로 복원하기 어려운 페이지는 추출 실패(failed)로 분류하였다. 이후 머리말·꼬리말, 반복문장과 문자잡음을 정리하고, 사고상황·원인·조치가 포함된 구간을 사례 후보 단위로 분리하였다. 중복되거나 광산 안전과 관련성이 낮은 구간을 제외하는 정제과정을 거쳤다. 이때 후보 구간의 수는 페이지 수와 다르며, 정제 후 사례 후보 수는 원문 대조 검수완료 건수와 구분하였다.

문서 구조화 및 메타데이터 구성

검색결과의 출처와 데이터 활용범위를 확인할 수 있도록 문서와 사례에 문서명, 제공기관, 발행연도, 위험유형, 작업공정, 검수상태 및 청크 식별정보(chunk_id)를 부여하였다. 사례정보에는 사고원인과 조치내용도 함께 기록하였다. 재해사례 후보는 전문가가 원문과 대조하여 사용을 승인한 검수완료(verified), 자동 규칙을 통과했으나 전문가 확인 전인 자동선별(auto_screened), 원문 검토 전인 미검수(unverified), 중복·비관련 등의 사유로 활용하지 않는 제외(excluded)로 구분하였다. 검수가 완료되지 않은 사례는 법령·지침과 같은 공식 문서 근거로 사용하지 않고, 참고 또는 관리자 검수대상으로 관리하였다.

청크 분할 및 벡터 데이터베이스 구축

법령·지침 문서는 줄바꿈과 불필요한 공백을 정리한 뒤 최대 1,500자씩 분할하고, 인접한 청크 사이에 250자가 겹치도록 설정하였다. 첫 청크가 1~1,500자이면 다음 청크는 1,251자부터 시작한다. 문자 수에는 전처리 후 남은 공백과 줄바꿈을 포함하며, 청크 양끝의 공백을 제거하므로 저장된 길이와 실제 중첩 길이는 설정값보다 짧아질 수 있다. 분할 위치는 문자 수를 기준으로 정하였다. 중대재해처벌법 관련 추가 문서에도 같은 분할 기준을 적용하였다. 재해사례는 사고요약·원인·예방조치 등을 묶어 사례 1건을 하나의 벡터 문서로 구성하였다.

문서와 질문의 벡터화에는 sentence-transformers / paraphrase-multilingual-MiniLM-L12-v2 모델(Reimers and Gurevych, 2019)을 사용하였다. 이 모델의 기본 최대 입력 길이는 128토큰이며, 384차원의 벡터를 생성한다. 생성한 벡터를 정규화하고, 문서명과 청크 식별정보(chunk_id)를 포함한 출처정보를 함께 ChromaDB에 저장하였다. ChromaDB는 질문 벡터와 문서 벡터 사이의 유사도 검색에 사용하는 벡터 데이터베이스이다(Table 2). 검색결과에는 문서명과 chunk_id를 함께 제시하여 관련 원문을 확인할 수 있도록 구성하였다.

데이터 검수 및 품질관리

추출자료의 품질과 활용상태를 관리하기 위해 페이지별 활용 가능·추가 검토·추출 실패 상태와 사례별 검수완료·자동선별·미검수·제외 상태를 기록하였다. 페이지의 추출 품질과 사례의 원문 대조 검수 여부는 별도로 관리하였다. 공식 문서 검색 데이터베이스와 재해사례 검수용 후보 데이터베이스를 분리하고, 검수가 완료되지 않은 후보가 공식 문서 근거로 사용되지 않도록 활용범위를 제한하였다(Fig. 3).

Fig. 3.

Separate processing and quality-control paths for official documents and candidate accident cases.

MineSafe AI의 설계 및 구현 방법

MineSafe AI는 사용자 질문 분석, 공식 문서 검색, 근거 상태 점검, 답변 생성과 출처 표시를 수행하며, 필요 이행기록 추천과 Korea Risk Assessment System(KRAS) 형식의 위험성평가 초안을 제공한다. 답변은 즉시 조치, 위험 이유, 보호구·대피, 보고·기록 및 작업 재개 전 확인사항을 중심으로 구성하였다. 사용자는 답변에 제시된 공식 문서와 실제 현장조건을 함께 확인하여 조치를 검토하도록 하였다. 법률 위반 여부, 최종 위험등급과 작업 재개 승인은 안전관리자 및 현장 책임자의 판단사항으로 두었다. Fig. 4는 MineSafe AI의 질문 처리부터 제어까지의 절차와 모식도를 나타낸 것이다. 사용자 질문에 대한 근거자료를 검색하고 충분성을 평가하여 답변을 생성하며, 오류 발생 시 규칙 기반 응답으로 전환한다.

Fig. 4.

Query processing and response handling according to structural evidence states.

사용자 질문 분석

질문 분석 단계에서는 자연어 질문을 주·보조 위험분야, 세부 위험신호, 작업단계, 행위자, 요청항목, 긴급도 및 모호성 등의 항목으로 정리하였다. 분야별 키워드와 조건 규칙을 질문에 적용하여 검색 질의와 답변에 필요한 요소를 추출하였다. 예를 들어 메탄 농도 상승과 환기 이상을 함께 언급한 질문에서는 환기·유해가스 분야와 두 위험신호를 각각 식별하고, 즉시 조치에 관한 요청을 검색과 답변 구성에 반영하였다. 여기서 질문 요소의 구조화는 위험분야·위험신호·작업단계·행위자·요청항목을 구분하여 저장하는 과정이다. 특정 질문 문장에 대한 답변을 개별적으로 지정하는 방식이 아니라, 여러 질문에 공통으로 적용할 수 있는 분야별 규칙을 사용하였다. 질문 요소의 추출과 이전 대화의 작업상황을 후속 질문에 전달하는 문맥 유지는 별개의 기능으로 구분하였다.

광산 안전문서 검색 및 근거 선정

검색대상은 ｢광산 안전문서 데이터 구축 방법｣과 부록 A에 제시한 법령·기술기준·업무지침과 안전보건관리 안내자료이다. 사용자 질문을 확장한 검색문장과 질문 분석 결과에서 얻은 검색문장을 중복 없이 최대 네 개 구성하였다. 각 문장의 벡터 검색결과를 합치고 chunk_id가 같은 결과를 병합한 뒤, 위험신호·작업단계·요청항목을 반영한 규칙으로 순서를 다시 정하였다. 최종 상위 5개 결과의 문서명·문서유형·chunk_id와 거리값을 답변 구성과 출처 표시에 사용하였다(Table 2). 재해사례는 별도 데이터베이스에서 관련성과 검수상태에 따라 참고자료로 관리하였다.

근거 충분성 판단과 답변 경로 선택

근거 충분성은 검색결과의 구성을 점검하여 답변 경로를 정하는 기준이다. 검색결과 수, 본문이 있는 것으로 집계된 결과 수, 출처명(source)과 청크 식별정보(chunk_id), 고유 출처 수, 청크 중복률과 단일 출처 편중률을 이용하여 충분(sufficient), 보완 필요(needs_review), 부족(insufficient)으로 구분하였다. 본문 수는 본문 항목을 문자열로 변환하고 양끝 공백을 제거한 뒤 비어 있지 않은 결과의 수로 계산하였다. 출처명과 chunk_id도 양끝 공백을 제거하여 확인하였으며, 빈 값이나 정보 없음으로 표시된 값은 유효한 식별정보에서 제외하였다. 고유 출처 수는 서로 다른 유효 출처명의 수이다. 청크 중복률은 같은 chunk_id의 첫 등장을 제외한 반복 횟수를 전체 검색결과 수로 나눈 값이며, 출처 편중률은 가장 자주 등장한 유효 출처의 횟수를 유효 출처의 전체 등장 횟수로 나눈 값이다. 분모가 0인 경우 해당 비율은 0으로 처리하고, 판정에는 반올림 전 값을 사용하였다. 검색결과 수, 본문 수 또는 유효한 출처명과 chunk_id를 모두 가진 결과 수 중 하나가 2개 미만이거나, 고유 출처가 없거나, 청크 중복률이 0.5를 초과하면 부족으로 판정하였다. 부족 조건에 해당하지 않으면서 검색결과와 본문이 각각 3개 이상이고, 고유 출처가 2개 이상이며, 출처명·chunk_id의 누락과 청크 중복이 없고 출처 편중률이 0.67 이하이면 충분으로 판정하였다. 나머지는 보완 필요로 구분하였다.

충분 상태에서는 선택한 모드의 답변을 제공하고 일부 법적 단정 표현을 완화하였다. 보완 필요 상태에서는 추가 확인 안내를 답변과 화면에 표시하면서 답변을 제공하였다. 부족 상태에서는 작업중지·접근통제·대피·보고와 재점검, 승인 전 작업재개 제한을 중심으로 공통조치를 제시하였다.

답변 생성 및 안전제어

답변 모드는 관리자용, 작업자용, 통합형으로 구성하였다. 관리자용은 생성모델을 호출하지 않고 규칙 기반 조치순서와 체크리스트를 제시한다. 작업자용은 검색자료를 바탕으로 Gemini가 짧고 쉬운 설명을 생성하며, 통합형은 규칙형 초안과 검색자료를 Gemini에 전달하여 설명을 보완한다. 사용자가 답변 모드를 선택하고, 근거 상태와 생성 오류에 따라 규칙형 대체 답변을 제공하도록 구성하였다.

Gemini API(application programming interface)를 이용하는 생성 요청은 검색결과 중 상위 3개 청크의 본문을 각각 최대 800자까지 전달하도록 구성하였다. 최대 출력 길이는 800토큰, 응답 대기시간은 60초로 설정하였다(Table 2). 생성모델 호출 중 통신 오류가 발생하면 요청을 재시도하였다. 답변은 질문 분야와 요청항목에 따라 필요한 내용과 조치순서가 포함되었는지 검사하였다. 규칙형 초안이 요건을 충족하지 못하면 대체 답변을 사용하였다. 작업자용과 통합형에서는 첫 응답이 미완성이거나 출력 요건을 충족하지 못한 경우 최대 한 번 다시 생성하였다. 재생성에도 실패하면 규칙형 답변을 제공하였다. 반환 직전에는 출력 요건을 다시 확인하고 검사 결과를 상태정보로 기록하였다.

출처 제시 및 추적 가능성

최종 화면에는 문서명, chunk_id, 검색 근거 상태 및 답변 모드 등을 표시하였다. 사용자는 관련 원문과 답변의 처리 상태를 확인하고 이행기록을 정리할 수 있다. 시스템은 Python 기반의 로컬 환경과 Streamlit 웹 애플리케이션으로 구현하였으며, 문서 벡터와 출처정보는 ChromaDB에서 관리하도록 구성하였다. MineSafe AI의 주요 구성요소의 설정값과 역할은 Table 2에 정리하였다.

MineSafe AI의 기술 성능 평가 방법

검색 관련성 평가

검색 관련성 평가는 기존 내부 질문자료 110문항에서 10개 위험유형별로 3문항씩 고정 선정한 총 30문항을 대상으로 하였다. 컨베이어·끼임 유형에는 직접 관련 문항이 부족하여 전기안전과 인접한 질문 2개가 포함되었다. 문항별 대조와 위험유형별 분석에는 2026년 7월 24일에 보관된 동일 30문항의 검색 재실행 결과를 사용하였다. 기대 근거는 질문자료의 ‘기대 검색 문서’ 필드에 기록된 문서명 또는 주제어를 바탕으로 정하고, 문서명 정규화·별칭·제목 토큰 일치 규칙으로 검색결과와 대조하였다. 검색결과를 순서대로 확인했을 때 기대 근거 조건이 처음 충족되는 위치를 ‘기대 근거 최초 일치 순위’로 정의하였다. Hit@k는 기대 근거가 상위 k개 이내에서 일치한 문항의 비율로 Eq. 1에 따라 계산하였고, 평균역순위(mean reciprocal rank, MRR)는 최초 일치 순위의 역수를 전체 문항에 대해 평균하여 Eq. 2로 계산하였다. 이 평가는 제목 조건의 일치 정도를 나타내며, 사람이 검색결과의 의미적 적절성을 직접 판정한 평가와는 구분된다.

여기서 N은 전체 평가문항 수인 30이고, k는 상위 검색범위로 1, 3 또는 5이다. rᵢ는 i번째 문항의 기대 근거 최초 일치 순위이며, 상위 5개에서 일치하지 않으면 0으로 기록하였다. I(·)는 조건을 만족하면 1, 그렇지 않으면 0인 지시함수이다. RRᵢ는 1 ≤ rᵢ ≤ 5인 경우 1/rᵢ이고, rᵢ = 0인 경우 0이다. 미일치 문항도 분모 N에 포함하였다.

질문 이해 평가

질문 이해성능은 12개 안전 및 위험 분야의 개발문항 72개와 분리 검증문항 24개, 총 96문항을 대상으로 평가하였다. 개발문항은 규칙의 개발과 점검에 사용하였고, 분리 검증문항은 규칙 작성에 직접 사용하지 않고 검증을 위해 구분한 자료이다. 주요 위험분야 정확도와 요청항목 재현율을 중심으로 평가하고, 위험신호 포착률, 작업단계 정확도 및 모호성 판정 정확도를 함께 제시하였다. 주요 위험분야·작업단계·모호성 지표는 질문에 대한 분류와 판정의 일치 여부를, 위험신호·요청항목 지표는 질문에서 필요한 요소를 식별한 결과를 살펴보기 위한 것이다. 개발문항과 분리 검증문항은 모두 동일 프로젝트에서 구성한 내부 자료이며, 프로젝트 외부에서 독립적으로 수집한 현장 질문은 아니다.

기능 회귀시험

기능 회귀시험은 프로그램 변경 후 기존 기능이 정해진 입력에 따라 작동하는지 확인하는 절차이다. 개발보고서의 시험범위에는 질문 분석, 공식 문서 검색, 세 답변 모드, 출처 표시, 범위 밖 질문, 재해사례와 생성모델 오류 처리가 포함되어 있다. 시험에서는 기능 간 연결과 답변의 필수 내용·조치순서를 점검하였으며, 미완성 답변의 재생성과 대체 처리는 모의 응답을 이용하여 확인하였다. 결과 상태는 통과(pass), 실패(fail), 오류(error), 미실행(skip)으로 구분하였다.

시스템별 답변의 탐색적 비교

답변 품질은 20문항 규칙 기반 평가와 50문항 평가모델 기반 비교로 살펴보았다. 20문항 평가는 사전에 정한 답변구조와 필수 키워드의 포함 여부를 점수화한 방식이다. 50문항에서는 같은 질문 목록에 대해 수집한 MineSafe AI, ChatGPT 및 Gemini의 답변을 비교하였다. 비교대상은 기반 언어모델 자체가 아니라 검색자료의 활용, 출처 제시와 답변 구성을 포함한 시스템의 출력이다.

50문항 비교평가는 동일한 질문과 검색근거를 제공하는 조건에서 수행하였으며, 수집된 답변은 동일한 채점기준에 따라 평가하였다. 각 모델별 답변은 A/B/C로 익명화하고 제시 순서를 무작위로 배정하여 객관적인 관점에서 평가할 수 있도록 구성하였다. 50문항의 주제(내용)은 분진·환기·유해가스 9개, 중대재해처벌법·안전보건관리체계 8개, 발파·불발, 낙반·붕락·지보, 보호구·작업자 통제, 장비·전기·협착이 각각 7개, 기록·보고·작업재개 판단 5개로 구성하였다. 답변에서 생성모델명 문자열을 제거하고 A/B/C로 표시한 뒤 문항별 제시 순서를 무작위로 배정하였다. 같은 답변 배열을 다시 구성할 수 있도록 난수 생성의 초깃값(seed)을 20260707로 고정하였다.

GPT·Gemini·Claude로 기록된 세 평가모델에는 질문(question), 위험유형(category), 난도(difficulty)와 Answer A/B/C 세 답변을 함께 제시하였다. 별도의 공통 공식 근거 묶음이나 독립 참조정답은 제공하지 않았다. MineSafe AI 답변 내부의 source, chunk_id, distance와 근거 발췌문은 답변의 일부로 평가모델에 제시되었다. 모델명 문자열은 제거하였으나 MineSafe AI 답변에만 “블라인드 답변” 표식이 남아 있어 완전한 모델 비식별화에는 한계가 있었다.

평가항목은 “검색 적합성”, “근거 기반성”, “안전·법령 판단 정확성”, “실무성”의 네 가지이며, 각각 0~25점으로 채점하고 합계를 최대 100점으로 계산하였다. “안전·법령 판단 정확성”은 하나의 결합 항목이다. 세 프롬프트는 제목의 평가모델명과 출력 예시의 judge_model 값만 다르고 평가기준과 지시는 같았다.

평가 프롬프트는 공식 근거 또는 출처 추적 가능성, 구체적인 현장 조치, 작업중지·접근통제·대피·보호구·환기·측정·기록·보고·작업재개 조건의 적절한 제시, 불확실한 법 조문·수치의 단정 회피 및 활용 가능한 우선순위·절차를 공통 고득점 특징으로 제시하였다. 현장 조치 불명확, 근거·출처 추적성 부재, 위험 상황에서 작업 지속의 성급한 허용, 핵심 조치 누락과 확인되지 않거나 존재하지 않는 법령·기준 제시는 저득점 특징으로 제시하였다. 항목별 점수구간에 대응하는 별도의 판정기준은 제공하지 않았다.

문항 식별자와 모델 대응표로 답변 150개와 세 평가모델의 총점 450개를 연결하였다. MineSafe AI의 답변은 기존 47개와 검색결과를 이용해 규칙형으로 보완한 세 문항(FQ007·FQ020·FQ046)으로 구성되었다. 보완 보고서의 기록일은 2026년 7월 8일이며 전체 답변의 생성일을 뜻하지 않는다. Gemini 평가점수 세 개는 별도 프롬프트와 TSV로 보완하였고, 이미 포함된 점수·의견과 같은 GPT 배치 두 개는 이중 집계를 피하기 위해 제외하였다. 최종 집계에서 누락과 중복 키는 없었다.

보관 출력사례의 검토

근거 상태와 최종 답변의 관계를 설명하기 위해 보관된 우천 발파 질문(Q01)과 광산 구호대 질문(Q05)의 출력사례를 검토하였다. 질문, 화면에 표시된 근거 상태, 생성모델 오류에 따른 대체 안내와 답변에 포함된 내용을 함께 대조하였다. 두 사례는 50문항 비교평가와 별도로 보관된 자료이며, 근거 부족 판정의 정답이나 판정 정확도를 산출하는 평가자료로 사용하지 않았다. 규칙 기반 평가 20문항과 평가 모델 기반의 50문항은 문항 구성과 채점방식이 달라 결과를 별도로 제시하였다. 평가설계는 Table 3에, 시스템별 보고 평균은 연구결과 파트의 내부 답변 품질 결과 부분에 결과와 해석을 제시하였다.

안전관리 업무 지원기능 설계

중대재해처벌법 관련 자료와 필요 이행기록 추천

MineSafe AI는 광산안전 법령과 별도로 중대재해처벌법 관련 해설서·FAQ·질의회시집·따라하기 안내서를 검색하여 안전보건관리체계의 참고사항을 제시하도록 설계하였다. 법률 위반 여부와 처벌수위를 직접 확정하지 않고, 공식 문서 확인과 전문가 검토가 필요하다는 유의사항을 함께 표시하였다. 질문과 조치사항의 핵심어를 이용하여 가스 측정기록지, 환기설비 점검표, 작업중지 지시기록, 작업재개 승인기록, 작업 전 안전회의(TBM) 회의록, 교육·보호구 지급기록, 개선조치 사진 및 관계기관 보고기록 등을 추천하도록 구성하였다. 추천 결과는 실제 이행 여부를 입증하는 완성 문서가 아니라 안전관리자가 준비·확인할 기록의 목록과 초안이다.

KRAS 형식 위험성평가 초안

위험성평가 지원기능은 질문에서 식별한 위험요인과 작업상황을 바탕으로 KRAS의 기록구조를 참고한 초안을 생성하도록 구성하였다(KOSHA, 2026). 질문의 키워드와 상황유형에 따라 잠재위험요인, 위험발생 상황과 결과, 위험성 및 감소대책을 정리하였다. 대책은 제거·대체·공학적 대책·관리적 대책·개인보호구의 순서로 검토할 수 있도록 관련 공식 문서와 함께 제시하였다. 시스템 내부 정보는 목적에 따라 구분하였다. 질문 분석 정보는 위험분야·위험신호·작업단계·요청항목 등을 정리한 값이다. 검색 근거 상태는 검색자료의 구성을 점검한 값이며, 화면용 위험 라벨은 상황유형에 대응하는 규칙으로 표시한 정성적 정보이다. KRAS 형식 초안에 기입한 가능성·중대성·위험등급도 질문 키워드와 상황유형에 따른 별도의 정성적 값이다. 이 값은 현장 측정자료나 가능성·중대성의 수치행렬로 계산한 최종 위험등급이 아니다. 최종 위험성평가와 조치 채택 여부는 측정·점검 자료, 실제 작업조건과 책임자의 판단을 반영하여 재검토하도록 안내하였다.

연구결과 및 해석

광산 안전문서 데이터 구축 결과

공식 문서 및 재해사례 후보 구성 결과

검색용 데이터베이스는 초기 PDF 13개의 487개 청크와 추가 PDF 4개의 333개 청크, 총 17개 원문과 820개 청크로 구성하였다. 재해사례 원문 10개 PDF와 후보 데이터베이스는 별도로 관리하였다(Table 4).

기존 487개 청크의 저장 메타데이터를 대조한 결과, 문자 길이는 최소 342자, 중앙값과 최댓값은 1,500자였다. 1,500자인 청크는 268개, 이보다 짧은 청크는 219개였다. 추가 문서는 기존 검색결과에서 확보한 고유 청크 13개 표본을 확인하였으며, 문자 길이는 1,498~1,500자, 중앙값은 1,499자였다. 이 표본은 검색결과에서 선택된 자료이므로 추가 333개 또는 전체 820개 청크의 분포를 대표하지 않는다.

데이터 전처리 및 품질관리 결과

재해사례 원자료 415쪽의 OCR 품질은 활용 가능(pass) 363쪽, 추가 검토(review) 39쪽, 추출 실패(failed) 13쪽으로 분류되었다. 추가 검토와 추출 실패에 해당하는 52쪽은 원문 대조가 필요한 대상으로, 페이지별 품질상태에 따라 활용 여부를 구분할 필요가 있었다.

초기 추출 후보 422개 구간에서 중복·비관련 내용을 제외하여 75건의 사례 후보를 구성하였다. 이는 정제 후 후보 수이며 원문 대조 검수완료 건수와 다르다. 연구시점에 보고된 상태는 검수완료(verified) 0건, 자동선별(auto_screened) 5건이었다. 이 두 값은 전체 75건의 완전한 검수상태 분포를 나타내지 않는다. 사례정보는 공식 답변 근거로 사용하지 않고 참고 또는 관리자 검수대상으로 관리하였다.

메타데이터와 추적정보 구성 결과

공식 문서와 사례자료에는 문서명, 제공기관, 발행연도, 위험유형, 작업공정, 검수상태 및 chunk_id 등의 정보를 저장하였다. 검색결과에 출처와 식별정보를 함께 제시하여 관련 문서를 다시 확인할 수 있도록 하였다. 데이터 구성, OCR 품질, 후보 정제 결과와 활용제한은 Table 4에 정리하였다.

MineSafe AI의 질문 분석 및 답변 생성 결과

질문 분석 및 문서 검색 결과

질문 분석과 문서 검색의 예로 “갱내에서 메탄가스 농도가 높아지고 환기 이상이 의심될 때 작업자는 즉시 무엇을 해야 하는가?”를 사용하였다. 시스템은 이를 환기·유해가스 위험으로 분류하고, 갱내라는 장소와 메탄 농도 상승·환기 이상이라는 위험신호를 식별하였다. 즉시 조치에 관한 요청을 분석하여 작업중지·대피·출입통제와 환기설비 점검, 가스·산소 재측정 및 작업 재개 전 확인사항을 답변 구성에 반영하였다. 질문 입력 화면은 Fig. 5a에 제시하였다. 분석된 요소를 바탕으로 광산안전기술기준, 광산안전업무 처리지침 및 안전보건관리체계 관련 가이드의 청크를 검색하고, 재정렬한 상위 5개 결과를 근거 후보로 선정하였다.

Fig. 5.

Archived MineSafe AI interface: (a) query input, (b) response-status indicators and fallback notice, (c) response summary, and (d) retrieved documents and chunk identifiers.

현장 조치 중심 답변 생성 결과

예시 답변은 작업중지와 안전한 장소로의 대피, 출입통제를 우선조치로 제시하였다. 이어서 전원·환기설비와 가스·산소 상태의 점검, 환기 복구 후 재측정, 현장 책임자의 승인 및 작업 재개 전 확인사항을 순서대로 설명하였다(Fig. 5c). 핵심 판단과 우선조치를 앞에 배치하고 후속 점검과 기록을 연결하여 초기 대응방향을 확인할 수 있도록 하였다. 이 내용은 현장 측정값과 책임자의 판단을 대신하는 확정 지시가 아니라 공식 문서 검토를 지원하는 초안이다. 답변 상세 화면에는 검색 근거 상태, 화면용 위험 라벨, 관련 문서 수와 답변 모드가 표시되어 있다(Fig. 5b). 보관 화면에는 ‘공식 근거 충분’ 표시와 함께 생성형 답변이 안전검사를 통과하지 못해 안정형 대체 답변을 제공한다는 안내가 나타난다. 이 화면은 입력·상태·답변·출처의 표시방식을 설명하는 예시이다. 검색 근거의 구성 상태와 생성답변 검사 결과는 서로 다른 정보이며, 화면만으로 당시의 상세 실행분기나 판정 정확도를 확정할 수는 없다.

근거 표시 및 추적 가능성 결과

검색결과 화면에는 문서 구분, 문서명, chunk_id와 거리값이 제시되었다(Fig. 5d). 대표 질문에서는 광산안전기술기준과 광산안전업무 처리지침 등의 청크가 표시되어 사용자가 관련 문서를 다시 확인할 수 있었다. 본 연구에서는 관련 문서명과 청크 식별정보를 제공하여 사용자가 출처를 확인할 수 있도록 하는 기능을 구현하였다.

MineSafe AI의 기술 성능 평가 결과

검색 관련성 평가 결과

30문항 검색결과에서 Hit@1은 0.4000(12/30), Hit@3은 0.5333(16/30), Hit@5는 0.5667(17/30), MRR은 0.4639였으며, 검색 실행 오류는 없었다(Table 5). 검색은 모든 문항에서 실행되었으나 13문항에서는 기대 근거의 제목 조건이 상위 5개 결과에서 일치하지 않았다. 위험유형별 상위 5개 미일치 문항 수는 컨베이어·끼임 3개, 발파·불발 2개, 낙반·붕락·지보 2개, 전기안전·에너지 차단 2개, 사고보고·응급조치 2개, 장비·운반·차량 1개, 위험성평가·KRAS·TBM 1개였다. 환기·메탄·유해가스·산소부족, 분진·호흡보호·보호구 및 중대재해처벌법·증빙자료 유형에서는 각각 3문항 모두 기대 제목 조건이 상위 5개에서 일치하였다. 다만 유형별 문항 수가 적고 인접 주제의 문항도 포함되어 있어, 이 결과는 사용한 질문 목록의 특성으로 해석하였다.

기대 근거 필드의 표기방식을 사후적으로 구분한 결과, 문서명형 16문항 중 14문항과 주제어형 14문항 중 3문항에서 상위 5개 제목 조건이 일치하였다. 두 집단의 질문 내용과 난도가 통제된 것은 아니므로, 이 차이로 검색모델의 성능을 비교할 수는 없다. 현재 지표에는 기대 근거의 표기방식과 제목 일치 규칙의 영향이 함께 반영되었을 가능성이 있다. 발파 전 점검을 묻는 R001에서는 기대 제목 조건이 상위 5개에 포함되지 않았다. 사고 후 응급처치와 확보자료를 묻는 R024에서도 제목 조건은 일치하지 않았으나, 핵심요소 포함률이 높다는 자동 점검 표시가 함께 기록되어 있었다. 이 표시는 사람의 의미적 적절성 판정과 다르므로, 미일치 원인을 문서 부재·청크 분할·입력 절단 가운데 하나로 확정하기는 어렵다. 해당 위험유형의 자료 구성과 문서·조항·페이지를 연결한 기대 근거를 함께 점검할 필요가 있다.

관리자용 모드의 출력 및 이행기록 관리

관리자용 모드의 출력은 핵심 판단과 우선조치를 먼저 제시하고(Fig. 6a), 조치 체크리스트에 이행상태를 표시하도록 구성하였다(Fig. 6b). 이행일과 담당자 필드를 함께 제공하여 조치별 수행기록을 정리할 수 있도록 하였다. Fig. 6은 답변과 이행기록 표시항목을 설명하는 인터페이스 예시이다. 보관 화면의 기존 명칭인 안정형은 본 논문에서 사용하는 관리자용 모드에 해당한다.

Fig. 6.

MineSafe AI interface in manager-oriented mode: (a) core judgment and priority actions, and (b) action checklist and implementation status. The archived interface uses the former label, stability mode.

질문 이해 평가 결과

문서 검색을 평가한 30문항과 별도로, 개발문항 72개와 분리 검증문항 24개에서 질문 이해성능을 평가하였다. 주요 위험분야 정확도는 두 집합 모두 1.0000으로, 해당 문항의 핵심 위험분야를 예상분류와 동일하게 식별하였다. 요청항목 재현율은 개발문항 0.9939, 분리 검증문항 0.9815였다. 위험신호 포착률은 각각 0.9930과 0.9825, 작업단계 정확도는 각각 0.9722와 1.0000, 모호성 판정 정확도는 두 집합 모두 0.9583으로 나타났다(Fig. 7). 개발보고서의 기능 회귀시험 결과는 311개 통과로 집계되었다(Table 5). 시험에는 질문 분석, 공식 문서 검색, 답변 구성, 출처 표시와 오류 처리 점검이 포함되었다.

Fig. 7.

Internal question-understanding results for development and held-out question sets.

내부 답변 품질 비교 결과

ChatGPT, Gemini 및 MineSafe AI의 기존 보고 평균은 20문항 규칙 기반 평가에서 각각 63.00점, 74.50점 및 94.90점, 50문항 평가모델 기반 비교에서 각각 60.33점, 69.91점 및 85.61점이었다(Table 6). 두 평가의 문항과 채점방식은 서로 다르므로 각각의 결과로 제시하였다.

동일한 질문과 검색근거를 제공한 50문항 비교에서 MineSafe AI의 평균점수가 가장 높았다. 출처를 제시하고 현장 조치를 순서대로 구성한 답변방식이 채점결과에 반영되었을 가능성이 있다. 점수에는 생성모델과 답변 구성방식이 함께 영향을 주므로, 시스템별 답변의 내용과 구성을 중심으로 결과를 해석하였다.

채점모델에는 별도의 공통 공식 근거나 독립 참조정답을 제공하지 않았다. 따라서 “검색 적합성”과 “근거 기반성”은 답변에 나타난 관련성과 출처 추적성의 평점이며, 별도의 30문항 검색평가나 독립적인 원문 대조 정확도를 뜻하지 않는다. 평균에는 ｢시스템별 답변의 탐색적 비교｣에서 설명한 답변·점수 보완과 중복 배치 제외 이력이 포함되며, 익명화 이후 남은 표식의 영향도 분리하지 못하였다. 사용자 문서 준비시간, 응답속도와 업무효율의 변화는 이 평가의 측정대상이 아니었다.

근거 상태와 대체 응답의 사례

우천 발파 질문(Q01)과 광산 구호대 질문(Q05)의 보관 화면에는 근거 상태가 모두 ‘충분’으로 표시되어 있었고, 외부 생성모델 호출이 원활하지 않아 대체 응답을 제공한다는 안내가 함께 나타났다. Q01의 답변은 기상·낙뢰·공내수·화약류 상태 등 질문과 관련된 점검사항을 포함하였다. 반면 Q05는 작업중지·접근통제 등의 공통조치가 중심이어서 구호대 운영기준과 훈련에 관한 설명이 제한적이었다. 두 사례는 구조적 근거 상태와 최종 답변의 충실도가 다르게 나타날 수 있음을 보여준다. 화면의 오류 안내만으로 당시의 정확한 오류코드와 실행분기를 확정할 수는 없으며, 두 사례로 근거 부족 탐지의 정확도나 불필요한 대체 응답의 발생률을 산출하지 않았다. 이 사례들은 50문항 비교평가의 FQ 문항과 별도로 보관된 출력이다.

안전관리 업무 지원기능 구현 결과

중대재해처벌법 관련 자료와 필요 이행기록 추천 결과

질문과 관련된 중대재해처벌법 해설서·FAQ·질의회시집·따라하기 안내서를 공식 자료목록으로 제공하였다(Fig. 8a). 법적 판단이 필요한 질문에는 광산안전 지침의 적용과 별도로 공식 문서 확인이 필요하며, 시스템이 법률 위반 여부와 처벌수위를 직접 확정하지 않는다는 유의사항을 표시하였다(Fig. 8b). 가스 측정기록지, 환기설비 점검표, 작업중지 지시기록, 작업재개 승인기록, TBM 회의록, 교육·보호구 지급기록, 개선조치 사진과 관계기관 보고기록 등을 상황에 따라 추천하였다(Fig. 8c). 이 결과는 실제 기록의 존재와 적정성을 자동 판정하는 것이 아니라, 사용자가 준비·검토할 항목을 정리한 자료이다.

Fig. 8.

Actual safety-management support screens: (a) official Serious Accidents Punishment Act materials, (b) legal-use limitation notice, and (c) recommended implementation records.

KRAS 형식 위험성평가 초안 결과

대표 메탄가스·환기 질문의 KRAS 기록 초안에는 가능성 ‘높음’, 중대성과 위험등급 ‘매우 높음’이 표시되었다. 이는 질문 키워드와 상황유형에 따른 정성적 기입값이며, 현장 측정값이나 가능성·중대성의 수치행렬로 계산한 최종 위험등급은 아니다. 사용자가 현장 기준에 따라 재평가하도록 안내하였다. 초안에는 유해가스 또는 산소부족, 환기설비 이상과 재출입 승인기준 미흡 등의 잠재위험요인 및 질식·중독·폭발 등의 발생 가능한 결과를 정리하였다. 감소대책에는 작업중지와 대피, 인력 투입 전 원격측정·감시 검토, 환기설비 점검·복구, 가스 측정정보 확인, 재출입 승인과 비상연락·대피절차 기록 및 적합한 보호구 선정 등을 연결하였다(Fig. 9). 최종 위험등급과 조치 채택은 측정·점검 자료와 실제 작업조건, 현장 책임자의 판단을 반영하여 수정하도록 하였다.

Fig. 9.

Archived KRAS-oriented support screen: (a) preliminary risk information and control guidance, (b) hierarchy of risk-reduction measures, and (c) a summary of hazards, consequences, risk levels, and controls.

토 의

본 절에서는 MineSafe AI를 광산 안전관리 지원도구로 활용 시 고려해야 할 사항을 논의하였다.

공식 근거 기반 지원의 의미

MineSafe AI는 문서명과 청크 식별정보를 답변과 함께 제시하여 안전관리자가 관련 원문을 확인할 수 있도록 하였다. 이는 문서 저장소를 이용한 RAG로 기술자료와 근거를 탐색하는 선행연구와 연결된다(Arslan et al., 2024; Weers et al., 2024). 안전관리자는 제시된 문서를 현장조건과 대조하여 답변을 검토할 수 있다. 개별 답변문장과 근거문장의 일치 정도는 별도로 평가하지 않았다.

안전관리 업무 지원기능의 의미

MineSafe AI는 문서 검색, 현장 조치 중심 답변, 출처 표시, 필요 이행기록 추천과 KRAS 형식 초안을 하나의 연결된 흐름으로 제공한다. 사전에 구축한 자료 범위에서는 사용자가 질의할 때마다 관련 문서를 직접 모아 첨부하는 부담을 줄이도록 설계하였다. 자료 선정과 갱신은 운영자의 관리가 필요하며, 최종 조치와 위험성평가는 실제 측정·점검 자료와 책임자의 판단을 반영해야 한다. 정보탐색 시간이나 초안 수정량 등 실제 업무상의 변화는 이번 평가의 측정대상에 포함되지 않았다.

검색과 임베딩의 한계

검색평가의 Hit@5는 기대 문서의 제목 조건이 상위 5개 결과에 포함된 비율이다. 이 값에는 검색결과뿐 아니라 기대 근거의 표기방식과 제목 일치 규칙의 영향이 함께 반영될 수 있다. 유형별 질문 수가 적고 일부 인접 주제의 문항도 포함되어 있어 위험유형별 일반 성능을 판단하는 데에는 제한이 있다. 질문 이해평가의 개발문항과 분리 검증문항도 같은 프로젝트에서 구성한 자료이다. 임베딩 모델의 기본 입력한도는 128토큰인 반면, 청크는 최대 1,500자를 기준으로 분할하였다. 토큰 수가 입력한도를 초과하면 청크 후반의 조치사항이나 예외조건이 벡터에 반영되지 않아 일부 검색이 제한적으로 작용할 수 있다. 다만 본 연구에서는 실제 절단 비율과 이에 따른 성능 변화, 대안 모델의 성능 비교에 대해서는 다루지 않았다. 또한, 최종 820개 청크는 추가 문서를 반영한 구축 규모이며, 추가 단계에서 기존 평가를 재실행한 결과는 아니다. 평가에 사용한 자료 범위와 최종 데이터베이스의 구성은 구분하여 살펴볼 필요가 있다.

근거 상태와 응답제어의 한계

근거 충분성 판단은 검색결과의 수, 본문 항목과 출처 식별정보, 문서의 중복·편중을 점검하는 방식이다. 본문 값이 None으로 저장된 경우 문자열 변환 과정에서 내용이 있는 것으로 집계될 수 있으므로, 본문 존재 여부의 점검만으로 실질적인 내용을 판단하기는 어렵다. Q01과 Q05에서 같은 ‘충분’ 상태에도 답변의 충실도가 다르게 나타난 것은 이러한 구성 점검과 내용 검토가 함께 필요함을 보여준다. 근거 부족 판정과 대체 응답의 적절성은 정답자료와 대조하여 정량적으로 평가하지 않았다. 문서 내용의 상충이나 법적 적정성에 대한 독립적인 판정도 평가범위에 포함되지 않았다. 기능 회귀시험은 개발보고서에 집계된 기능 점검 결과이며, 전체 시험별 원시 로그를 이용한 상세 분석은 포함하지 않았다. 재해사례 역시 정제한 75건 가운데 검수완료 사례가 없어 공식 답변 근거가 아닌 검수·참고자료로 관리하였다.

비교평가의 해석과 재현성

50문항 평가는 동일한 질문과 검색근거를 제공하고 공통 채점기준을 적용한 시스템별 답변 비교이다. 답변의 구성, 근거 제시 방식과 생성모델 등이 함께 작용하므로, 점수 차이는 해당 조건에서 수집한 답변의 특징을 중심으로 해석할 수 있다. 채점모델에는 질문과 세 답변을 함께 제시하였고 별도의 공통 공식 근거나 독립 참조정답을 제공하지 않았으므로, 근거 관련 점수는 답변에 나타난 내용과 출처정보에 대한 평정이다. 생성·평가모델의 정확한 버전과 temperature·top_p의 적용값, 전체 입력 및 검색·도구 사용조건에 관한 기록이 충분하지 않아, 동일한 실행조건으로 답변과 점수를 다시 생성하는 데에는 제약이 있다. MineSafe AI 답변에 남은 식별 단서와 항목별 점수구간 기준의 부재도 결과에 영향을 줄 수 있다. 최종 점수에는 규칙형 답변 세 개와 평가점수 세 개의 보완, 중복 채점 배치 두 개의 제외 이력이 포함되어 있다. 이러한 자료 구성과 채점조건은 비교결과를 해석할 때 함께 고려해야 한다.

결 론

본 연구에서는 광산 안전 관련 문서의 검색, 질문 분석, 근거 상태 점검과 현장 조치 중심 답변을 연결한 MineSafe AI를 개발하였다. 검색용 데이터베이스는 법령·지침 등 원문 17개의 820개 청크로 구성하였다. 문서명과 청크 식별정보를 통해 출처를 확인할 수 있도록 하고, 필요 이행기록과 KRAS 형식의 위험성평가 초안을 답변에 연결하였다. 30문항 검색평가에서 Hit@5는 0.5667, MRR은 0.4639였다. 96문항 질문 이해평가에서는 주요 위험분야 정확도가 개발문항과 분리 검증문항에서 모두 1.0000이었고, 요청항목 재현율은 각각 0.9939와 0.9815였다. 기능 회귀시험 결과는 개발보고서의 311개 통과 집계로 제시하였으며, 20문항과 50문항 답변평가는 서로 다른 문항과 채점방식에 따른 결과로 정리하였다.

MineSafe AI는 공식 문서 확인과 현장 조치·기록 준비를 지원하는 데 활용될 수 있는 도구이다. 실제 활용에서는 검색근거와 답변 내용을 원문 및 현장조건과 대조하고, 조치와 위험성평가는 책임자가 검토해야 한다. 본 연구는 이러한 검토와 기록 준비를 하나의 시스템에서 수행할 수 있도록 기능을 연결한 것에 의의가 있다.