Research Trends and Case Studies of Deep Learning Applications in Geo-electric and Electromagnetic Surveys

Juyeon Jeong; Hanna Jang; Desy Caesary; In Seok Joung; AHyun Cho; Daeung Yoon; Myung Jin Nam

doi:10.32390/ksmer.2022.59.4.379

Preview

Technical Report

Journal of the Korean Society of Mineral and Energy Resources Engineers. 31 August 2022. 379-397
https://doi.org/10.32390/ksmer.2022.59.4.379

Research Trends and Case Studies of Deep Learning Applications in Geo-electric and Electromagnetic Surveys

전기전자탐사에 적용되는 심층 학습 연구 동향 및 적용 사례 분석

Juyeon Jeong¹

Hanna Jang¹

Desy Caesary²

In Seok Joung²

AHyun Cho²

Daeung Yoon³

Myung Jin Nam⁴⁵^†

정 주연¹

장 한나¹

Desy Caesary²

정 인석²

조 아현²

윤 대웅³

남 명진⁴⁵^†

¹Master's Degree, Department of Energy and Mineral Resources Engineering, Sejong University, Seoul, Korea

²Master's and PhD Integrated Course, Department of Energy and Mineral Resources Engineering, Sejong University, Seoul, Korea

³Professor, Department of Energy and Mineral Resources Engineering, Chonnam National University, Gwangju, Korea

⁴Professor, Department of Energy Resources and Geosystems Engineering, Sejong University, Seoul, Korea

⁵Professor, Department of Energy & Mineral Resources Engineering, Sejong University, Seoul, Korea

¹세종대학교 에너지자원공학과 석사과정

²세종대학교 에너지자원공학과 석박통합과정

³전남대학교 에너지자원공학과 교수

⁴세종대학교 지구자원시스템공학과 교수

⁵세종대학교 에너지자원공학과 교수

^{*Corresponding Author}

ABSTRACT

Technological innovations within the context of electrical and electromagnetic (EM) surveys have allowed for a rapid, efficient, and easier acquisition of a high quantity of data. Such innovations have been integral in mineral exploration and groundwater surveys. On the other hand, conventional inversion of electrical or EM survey data is computationally time-consuming and expensive. To circumvent the limitations of conventional inversion, the implementation of deep learning (DL) using improved neural networks has garnered substantial attention. In this study, we review various DL methods that can be used as substitutes for traditional inversion methods. Specifically, we investigate cases highlighting the successful implementation of DL to electrical or EM surveys and also comprehensively examine the advantages and disadvantages of such an application of DL.

Keywords

deep learning

electromagnetic survey

data processing

inversion

interpretation

전기전자탐사의 장비가 발전하면서, 탐사 시 측정할 수 있는 자료의 양이 증가하고 있을 뿐만 아니라 최근에는 광물 탐사 외에도 지하수 탐사나 오염 영역 탐사 등 매우 다양한 분야에서 적용되고 있다. 전기전자탐사 자료의 역산은, 계산 비용이 많이 들면서도 초기모델과 정규화 인자에 영향을 받는 한계가 있다. 이에 심층학습을 적용하여 자료를 처리하고 해석하는 기술에 대한 관심이 증가하여, 개선된 신경망을 이용한 심층 학습으로 역산을 구현하고자 하는 연구들이 수행되고 있다. 이 논문에서는 자료 처리에 적용될 수 있는 심층학습 방법들을 먼저 간략히 소개하고, 기존의 전기전자탐사 역산법을 간단히 설명하며 심층학습을 이용한 방법론을 분석하였다. 이후 전자탐사에 적용되는 기계학습 연구 동향과 그 사례들을 소개하고, 심층학습 적용의 장단점을 분석하였다.

키워드

기계학습

전기전자탐사

자료처리

역산

자료해석

MAIN

서 론
심층학습 개요 및 주요 방법론
심층학습 개요
주요 심층학습 방법론
전기 및 전자탐사 자료처리 및 해석
자료처리
역산
심층학습을 적용한 역산
전기 및 전자탐사 심층학습 적용 사례
전기비저항탐사 적용 사례
전자탐사 적용 사례
유도분극탐사 적용 사례
자연전위탐사 적용 사례
자기지전류탐사 적용 사례
결론 및 토의

서 론

비파괴적 방법으로 매질의 내부 구조를 파악하는 물리탐사(geophysical survey) 방법들 중, 전기(electrical) 및 전자(electromagnetic, EM) 탐사는 지하 매질의 전기적 성질을 이용하는 탐사법이다. 전극을 통해 전류를 주입하는 전기탐사와 달리 전자탐사는 전자기 유도(EM induction) 현상에 기초하여 지하 매질 내에 전류를 유도한다. 전기탐사에는 크게 지하 매질의 전기비저항을 파악하는 전기비저항(electrical resistivity) 탐사와 매질의 충전 특성을 파악하는 유도분극(induced polarization, IP) 탐사, 그리고 자연적으로 발생하는 자연 전위를 측정하는 자연전위(spontaneous/ self-potential, SP) 탐사가 있다.

전기전자탐사는 비교적 짧은 시간 동안 넓은 범위의 정보를 얻을 수 있는 방법으로 지하수분포(Binley et al., 2015; Watlet et al., 2018), 산사태 안전성(Tábořík et al., 2017; Boyd et al., 2021), 광물 탐사(Pelton et al., 1978; Fallon et al., 1997), 지반침하 위험성(Giampaolo et al., 2016), 유류오염(Naudet et al., 2011; Islami, 2017)과 같은 다양한 분야에서 적용되고 있다. 물리 탐사 자료(data)를 다루는 일반적인 과정은 자료획득(acquisition), 자료처리(processing), 수치 모델링(numerical modeling), 예측(prediction) 및 해석(interpretation)으로 구성된다(Yu and Ma, 2021). 자료의 측정은 지구물리학적 현상을 이해하는 데 필수적인 수단인데, 측정 과정에서는 불가피하게 원하지 않는 잡음이 기록될 수 있다. 자료처리는 이러한 잡음을 제거하고 재구성함으로써 자료의 질을 개선하는 과정이라고 할 수 있고, 수치 모델링은 물리 법칙에 기초하여 특정 탐사 모델에 대한 반응을 계산함으로써 탐사 자료를 예측하거나 현장 자료와 비교하기 위한 과정이다. 예측으로 알려진 자료와 예측에 이용된 모델을 기반으로 알지 못했던 정보를 파악하거나(Constable et al., 2015), 역산 등을 통해 매질의 전기비저항 구조를 얻은 뒤 해석을 수행할 수 있다.

최근에는 전기전자탐사의 측정 장비가 발전함에 따라 측정 자료의 양이 놀라운 속도로 증가하고 있으며, 이를 처리하고 해석하는 작업에 많은 시간과 계산 비용이 들고 있다(Noh et al., 2020; Bang et al., 2022). 따라서, 많은 양의 자료를 처리, 예측 그리고 해석할 때 소비되는 시간과 비용을 절약하기 위해 다양한 분야에서 문제를 해결하는 방법으로 사용 중인 인공지능(artificial intelligence, AI)의 한 분야인 기계학습(machine learning, ML) 중 심층 학습(Deep Learning, DL)을 전기 및 전자탐사의 처리 및 해석에 적용하는 연구를 진행하고 있다(LeCun et al., 2015; Goodfellow et al., 2016; Noh et al., 2020; Marzán et al., 2021, Bang et al., 2021).

기존에는 전기전자탐사를 통해 얻은 자료를 해석하기 위해 선형 또는 준선형의 결정론적(deterministic) 역산 기법 또는 확률적(stochastic) 방법을 사용해왔다. 결정론적 방법으로는 alpha center 법(Shima, 1992), 최소자승 방법(least squares method) (Loke and Barker, 1995), 가우스-뉴턴 방법(Gauss-Newton), 최대 경사법(steepest gradient method) 이나 켤레 기울기(conjugate gradient, CG)법(Pidlisecky and Knight, 2008; Karaoulis et al., 2014) 등을 주로 적용하였다. 이와 같은 결정론적 접근 방식은 초기 모델 설정과 정규화(regularization)에 역산결과가 의존한다는 한계가 있다(Liu et al., 2021b). 즉, 초기 모델의 선택이 불충분한 경우 선형 역산 방법은 국소 최소(local minimum)값과 같은 문제로 부정확한 해를 얻을 수 있고, 제약(regularization) 조건의 영향으로 정확도 낮아진다(Liu et al., 2021b). 확률적 방법은 단일해(single solution) 대신 일련의 모델을 샘플링하여 기존 역산 문제의 불확실성을 해결할 수 있지만, 수렴 상태에 도달하기 위해서는 무작위로 제안된 수천 개의 모델을 테스트해야 하기 때문에 계산에 많은 시간이 걸린다는 단점이 있다(Puzyrev, 2019).

물리탐사 자료 해석에 있어서의 기존 문제점을 해결하고, 정확도를 높이면서도 다량의 자료를 처리하기 위해 최근에는 기계학습 방법 중, 특히 사람 뇌구조의 신경망(neural network, NN)을 모방하여 만든 인공(artificial) 신경망(ANN)을 이용하는 연구들이 수행되고 있다(El-Qady and Ushijima, 2001; Xu and Wu, 2006; Neyamadpour et al., 2009; Jiang et al., 2016; Liu et al., 2020; Aleardi et al., 2021; Vu and Jardini, 2021; Aleardi et al., 2022). 결정론적 방법과 달리, 인공 신경망을 사용한 방법은 초기 모델에 의존하지 않으며, 반복 최적화 방법을 적용하지 않고 현장에서 측정한 자료(e.g., 겉보기비저항, 자기장 혹은 전기장)를 이용하여 직접 지하 모델을 재구성한다. 이때, 다층(multi-layer) 인공 신경망을 이용하는 심층학습을 이용하면 훈련 자료의 입력 및 출력 매개 변수 사이의 관계와 역산 연산자(inversion operator)를 통계적으로 분석하여 복잡한 비선형 함수의 근사값을 도출해낼 수 있다(Hornik et al., 1990).

기존의 역산 방법들은 복잡한 방정식을 계산하기 위한 여러 수치 계산 과정이 포함되기 때문에 많은 시간이 소요된다. 반면, 인공 신경망을 이용하는 심층 학습의 역산 연산자를 사용하면 훈련 과정에서 훈련을 위한 모델을 생성하는 등의 과정에서는 다소 시간이 걸리지만, 훈련을 완료한 이후부터는 몇 초 이내의 매우 빠른 속도로 역산 결과를 얻을 수 있다(Araya-Polo et al., 2017; Aleardi et al., 2021; Aleardi et al., 2022; Bang et al., 2022). 또한 역산은 불량조건 문제(ill-posed problem)이기 때문에 해가 유일하지 않고 다양한 해가 생성되지만, 심층 학습 방식은 단일해를 출력한다는 장점이 있다(Sasaki, 1989; Tarantola, 2005; Constable et al., 2015; Aster et al., 2018).

이 논문에서는 심층학습을 적용하여 전기탐사 자료와 전자탐사 자료를 처리하고 해석한 사례들을 분석하려고 한다. 이를 위해 먼저 기계학습에 대해 간단히 알아보고, 기존의 자료처리 및 역산에 사용하던 방법론과 기계학습의 방법론을 소개한다. 이후 물리탐사에 적용되는 기계학습 연구 동향과 그 사례들을 소개하고 분석하고자 하였다.

심층학습 개요 및 주요 방법론

심층학습 개요

기계 학습은 사용자가 축적한 자료로부터 컴퓨터가 스스로 학습하는 기술로서, 인공지능 기술의 하나로 1980년대부터 개발되기 시작했다(Shavlik et al., 1990; Langley, 2011). 기계학습에서는 정답인 레이블(label)의 유무에 따라 레이블이 명시되어 있는 지도형(supervised) 기계학습과 레이블이 없는 비지도형(unsupervised) 기계학습으로 나눌 수 있고, 목적에 따라서는 분류(classification), 회귀(regression), 군집화(clustering) 등으로 나눌 수 있다(Géron, 2019). ANN은 대부분 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)으로 구성되어 있는데(Fig. 1), 다중 은닉층을 이용하는 심층 학습은, 심층(deep) 신경망(DNN), 합성곱(convolutional) 신경망(CNN), 오토인코더(auto-encoder)와 같은 심화된 신경망이 개발되어 사용되고 있다(Géron, 2019).

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F1.jpg

Fig. 1.

Overview of an artificial neural network (ANN). Each circular node represents an artificial neuron, and each arrow represents an input from the output of one neuron to another (Modified from Barfod et al., 2021).

심층 학습의 각 신경망은 입력 변수(x_i), 입력 변수에 곱해지는 가중값(w_ji)와 가중된 입력 변수에 더해지는 편향항(bias term) (w_j0)으로 구성되며, 소프트맥스(softmax), 렐루(rectified linear unit, ReLU), 쌍곡선 탄젠트(hyperbolic tangent), 그리고 시그모이드(sigmoid)와 같은 활성 함수를 사용하여 모두 더해 처리하는 과정을 거친다(Rajaraman and Ullman, 2011). 심층학습의 최대 장점은 복잡하고 다양한 자료의 비선형적인 관계를 해석해 내는 것으로 전기전자탐사의 자료를 다루는 주요 과정에서 활용할 수 있다.

주요 심층학습 방법론

ANN의 사용 목적은 훈련을 통해 출력 자료와 레이블 및 참 값 사이의 오차를 최소화하는 최적의 근사치인 함수의 최적 값을 찾는 것으로(Goodfellow et al., 2016) 피드 포워드(feed-forward, FF) 신경망(FFNN)라고도 한다. 전기 및 전자탐사에 적용되는 아키텍쳐의 종류로는 역전파(backpropagation) 신경망, 순전파(forward propagation) 신경망, 탄력적 역전파(resilient backpropagation, RPROP) 신경망, 완전 연결(fully-connected) 신경망, 오토인코더 그리고 CNN 등이 있다. 순전파 및 역전파 신경망, 완전 연결 신경망은 심층학습을 적용한 초기부터 많은 양의 변수를 처리하는 데 사용해왔지만 고차원의 입력과 제한된 컴퓨팅 시스템으로 단층촬영을 처리하기에 적합하지 않아, 최근에는 컴퓨터 성능의 발전으로 이미지 처리 기술인 CNN이 많이 사용되고 있다(Vu and Jardani, 2021).

CNN은 ANN에서 특성화된 기법으로 합성곱층(convolution layer)과 풀링층(pooling layer)으로 구성되며(Fig. 2), 주로 시간 경과 자료나 이미지와 같은 2차원 자료에 사용한다(Goodfellow et al., 2016). CNN의 곱말기 연산자(convolution operator)를 기반으로 레즈넷이라 불리는 잔차(residual) 신경망(ResNet) (Ronneberger et al., 2015; He et al., 2016)과 같은 신경망도 개발되었다. 이와 같은 다양한 신경망들을 이용하여 전기 및 전자탐사 자료를 처리하려는 시도가 많이 있어 왔다(Vu and Jardani, 2021; Aleardi et al., 2021). 이 밖에도 이미지 해상도 유지 및 정밀한 재구성과 같은 이점이 있는 유넷(U-Net), 은닉층의 증가에 의해 과도한 학습이 발생했을 때 최적화가 잘 되지 않는 기울기 소실(vanishing gradient) 문제(Yamada et al., 2018)를 해결하기 위한 레즈넷, 암호기(encoder)와 해독기(decoder)로 구성된 오토 인코더(auto-encoder) 또한 전자탐사 자료 해석 및 다양한 과정에 사용된다(Liu et al., 2020; Aleardi et al., 2022).

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F2.jpg

Fig. 2.

Overall architecture of the convolutional neural network (CNN), including an input layer, multiple alternating convolution, and max-pooling layers, one fully connected layer, and one classification layer (Alom et al., 2019).

전기 및 전자탐사 자료처리 및 해석

자료처리

탐사 자료의 자료처리를 위한 신호(signal)의 수치 분해 과정은 다음과 같이 표현할 수 있다.

(1)

y = s + ϵ

이때, $y$ 는 잡음(noise)이 추가된 습득 신호(acquired signal), $s$ 는 측정하고자 하는 이상적인 신호, $ε$ 는 원하지 않지만 측정되는 잡음이다. 여기서, 시간영역 전자탐사(transient/ time-domain EM, TEM)과 시간영역 유도분극과 같은 탐사에서의 잡음 제거는 비유일해를 가진 불량조건 문제에서 수치 저하(forward degraded) 과정을 기반으로 진행할 수 있다(Chen et al., 2020). 즉, 베이지안(Bayesian) 관점에서 사후 확률 분포(posteriori distribution)로서의 해인 $\hat{s}$ 는 일반적으로 최대 사후 확률(maximum a posteriori, MAP) 문제를 해결함으로써 다음과 같이 계산할 수 있다(Zhang et al., 2017b; Kataoka and Yasuda, 2019; Delon and Houdard, 2018).

(2)

\hat{s} = \arg \max_{s} \log p (y | s) + \log p (s)

여기서 $\log p (y | s)$ 는 관측 값의 로그 가능성, $\log p (s)$ 는 선행 $s$ 값을 나타낼 수 있으며, (2)식은 다음과 같이 최소화하여 에너지 함수로 재구성할 수 있다(Zhang et al., 2017a; Ulyanov et al., 2018).

(3)

\hat{s} = \arg \max_{s} \frac{1}{2} {||y - s||}^{2} + λ_{s} Φ (s)

위 식에서 $\frac{1}{2} {||y - s||}^{2}$ 는 에너지 함수의 최소 해를 보장하는 오차 항(misfit term), $Φ (s)$ 은 정규화 항 그리고 $λ_{s}$ 는 오차 항과 정규화 항의 균형을 유지하기 위한 교환 변수(tradeoff parameter)이다.

모델 기반 최적화 방법은 일반적으로 반복 추론과 같이 시간이 많이 걸리는 작업을 수반하는 최적화 알고리듬을 사용하여 (3)식을 직접 해결하는 것을 목표로 한다. 반대로 신경망을 사용하는 방법은 훈련 자료에서 손실 함수의 최적화를 통해 학습해야 하는 선행 매개 변수 𝛳를 학습하며, 공식을 단순화하기 위해 제약 조건은 비선형 함수(f )로 대체하면 다음과 같이 표현할 수 있다.

(4)

\hat{s} = f (y_{i}; Θ)

위 식은 일반적인 잡음 제거 문제와 유사하게 최적화하기 위해 평균 제곱 오차를 손실 함수를 사용하여 다음과 같이 나타낸다(Zhang et al., 2017a; Zhang et al., 2018).

(5)

l (\hat{s}, s') = \frac{1}{2 N} \sum_{i = 1}^{N} ||f (y_{i}; θ) - (y_{i} - S_{i})|| \frac{2}{2}

이때, $l (\hat{s}, s')$ 는 추정치 $\hat{s}$ 와 원하는 출력 $s'$ 값 사이의 차이를 계산하는 손실함수이며, ${\{(y_{i}, S_{i})\}}_{i = 1}^{N}$ 는 N개의 잡음-무잡음(nosiy-clean) 쌍을, y는 획득한 잡음 신호의 변환 이미지를, 그리고 s는 이론적인 무잡음 신호의 변환 이미지를 나타낸다.

역산

일반적으로 기존의 역산 방법을 수행할 때, 수치 모델링을 다음과 같이 나타낼 수 있다.

(6)

d = F (m)

이때, $F$ 는 수치 모형응답, $m$ 은 예측모델, $d$ 는 관측자료이다.

역산을 통해 우리가 찾고자 하는 모델을 예측하기 위해서 최소 자승법에 따라 다음과 같은 목적 함수를 최소화하는 $m$ 을 구하는 과정을 필요로 한다.

(7)

Φ (m) = Φ_{d} (m) + λ Φ_{m} (m) = {||f (m) - d||}^{2} + λ {||c m||}^{2}

여기서 $Φ_{d} (m)$ 은 모델에서의 측정자료와 수치 모형응답자료의 오차벡터(data misfit), $Φ_{m} (m)$ 은 모델변수와 관련된 제약조건이다. 𝜆는 자료의 오차벡터와 제약조건의 비율을 조정하는 라그랑지 승수(Lagrange coefficient)이고, $C$ 는 모델변수의 공간적 2차 미분을 의미하는 거칠기(roughness) 행렬이다.

심층학습을 적용한 역산

물리적인 접근법과 달리, 심층학습 적용을 통해 최소화 과정을 매핑 문제로 전환하여 해결할 수 있는데, 위의 방법과 다르게 $m$ 을 직접 추정하기 위해 다음과 같은 관계를 사용할 수 있다.

(8)

\tilde{m} = N e t (d; θ)

이때, 𝜃는 학습한 변수로 최적화 문제를 다음과 같은 네트워크 학습으로 다음과 같이 나타낼 수 있다.

(9)

\tilde{θ} = \arg \{\max_{θ} \frac{1}{N} \sum_{i = 1}^{N} ||m_{i} - N e t (d_{i}; θ)^{2}||\}

여기서 $N$ 은 훈련 세트 개수, $(m_{i}, d_{i})$ 은 $i$ 번째 훈련쌍이다.

또한, 불량조건 문제이기 때문에 발생하는 해의 비유일성을 해결하기 위해 종종 평활화 제약조건(smooth constraints) $s (\tilde{m})$ 을 추가하여 최적화 문제를 해결하기도 하며, 이때 다음과 같이 나타낼 수 있다.

(10)

\tilde{θ} = \arg \{\max_{θ} \frac{1}{N} \sum_{i = 1}^{N} {||m_{i} - N e t (d_{i}; θ)||}^{2}\} + \partial * s ({\tilde{m}}_{i})

이때, 𝜕는 평활화 계수(smoothness factor)이다.

전기 및 전자탐사 심층학습 적용 사례

지금부터는 전기비저항 탐사, 전자탐사, 유도분극탐사, 자기지전류탐사, 자연전위탐사 등 여러 전기 및 전자탐사 방법에 실제로 심층학습법을 어떻게 적용하였으며, 어떤 결과를 얻었는지에 대해 간단히 소개하겠다.

전기비저항탐사 적용 사례

전기비저항 탐사는 국내에서 물리탐사 방법 중 가장 많이 적용되는 탐사법(Kim et al., 2001) 중 하나로 전기비저항 탐사 자료의 기존 역산 문제점을 해결하고, 실시간(real-time)으로 역산 결과를 확인하여 모니터링하기 위해서 심층학습을 사용하여 역산을 수행하는 연구가 진행되고 있다(Aleardi et al., 2021; Aleardi et al., 2022). 심층학습을 적용하려는 초기에는 각 신경이 완전히 연결된 층을 형성하고, 다른 신경과 연결되는 ANN 알고리듬을 많이 사용하였다. 그러나 최근에는 컴퓨터와 여러 알고리듬의 아키텍쳐 발전(Monajemi et al., 2016)으로 가단면도(psedosection) 이미지를 입력하여 역산 단면을 출력하는 CNN 알고리듬을 사용하여 역산을 수행하기도 한다(Neyamadpour et al., 2009; Vu and Jardini, 2021). 역산뿐 아니라 지질 구조를 구분하는 등의 해석을 요하는 과정에서도 심층학습을 사용하여 효율적인 해석을 꾀한다(Hellman et al., 2012; Ward et al., 2014).

역산

대표적으로 기존 방법의 단점을 최소화하여 비선형 역산을 수행하기 위해 ANN 알고리듬 중 하나인 역전파 알고리듬을 이용하여 역산할 수 있다(Xu and Wu, 2006; Neyamadpour et al., 2009). 역산에 사용한 전기비저항 자료는 2 m 간격의 45개의 전극을 단극자 배열(pole-pole array)로 설치된 사항을 가정하여 얻었으며, 154개의 겉보기 전기비저항을 훈련을 위해 사용하고, 7개를 테스트를 위해 사용하였다(Xu and Wu, 2006). 신경망의 은닉층의 개수를 조정하며 실험해본 결과, 은닉층이 3개일 때가 훈련 오류가 적어 은닉층 3개를 포함한 5층 네트워크를 사용하였다. 여러 역전파 알고리듬 중 가장 높은 정확도와 수렴률을 보인 탄성 역전파 알고리듬을 사용하였다.

7개의 훈련 모델의 평균 제곱근 오차(mean square error)는 0.003 ~ 0.052로 매우 높은 정확도를 보였으며, 정확도를 비교하기 위해 전통적으로 최소자승 역산법을 사용하는 소프트웨어인 RES2DINV의 결과와 비교하였다. 또다른 탄성 역전파 알고리듬 적용 사례에서는 MATLAB을 사용하였으며, 훈련 및 테스트에 사용할 수치모델을 유한 요소법(finite element method, FEM)에 기초한 수치 모델링 코드인 RES2DMOD를 이용해 21개의 훈련 모델, 16개의 테스트 모델을 생성하였다. 결과적으로 두 결과 모두 ANN을 이용한 역산 결과가 참모델과 더욱 일치하는 것을 확인할 수 있었다.

또한 Ho(2009)는 일본 Takigami 지열 개발 현장에서 얻은 인공분극(mise-à-la-masse, MAM)법 자료 역산에 3층 신경망과 순방향 신경망을 이용하였다. 경험적(heuristic) 방법에 따라 은닉층의 여러 뉴런을 선택하였으며 45개의 숨겨진 뉴런 모델은 50,000 훈련 반복(epoch) 후에 RMS 오차가 0.0196에 도달하여 가장 효과적인 것으로 입증되었다. 다양한 고성능 학습 알고리듬 중 RMS 오차의 수렴을 테스트하기 위해 4가지 역전파 알고리듬들(online 역전파, batch 역전파, quick 역전파, 탄력적 역전파(RPROP))을 적용하였으며, 이중 87,409 훈련 반복 후 가장 낮은 오차 값 0.0194를 보이는 RPROP 신경망을 가장 적합한 방법으로 판단하였다.

훈련된 신경망을 이용하여 Takigami 지열 현장의 MAM법 자료로 3차원 역산을 수행하였으며, 구축한 모델에 대한 모델링 결과와 현장 자료 사이의 RMS 오차는 0.1 ~ 0.5 범위로 계산할 수 있었다. 제한적인 훈련 자료 세트로 인해 RMS 오차에 대한 확실한 평가를 내리기는 어려움이 있지만 ‘유체 유동 영상화’ 방법의 자료 처리 비용 절감과 MAM 자료의 빠른 3차원 역산을 위해 인공 신경망을 사용하는 것이 적절하다는 가능성을 확인하였다. RPROP 신경망 알고리듬은 2차원(two-dimensional, 2D)과 1차원(one-dimensional, 1D) 겉보기 비저항 자료를 대상으로도 수행할 수 있으며(El-Qady and Ushijima, 2001), 1D 수직 전기비저항 수직탐사(vertical electrical sounding, VES) 자료의 역산에 인공 신경망 방법을 적용하기 위해 수평 등방성 층으로 구성된 모델을 사용하여 2 ~ 1000 m 범위에서 겉보기 비저항을 생성하였고, 두께와 전기비저항이 다른 40개의 훈련 세트와 10개의 시험 세트를 생성하였다. 수치모델을 생성하기 위해서는 슐렘버져 배열의 겉보기 전기비저항을 계산할 수 있는 수치 계산 알고리듬(Zhdanov and Keller, 1994)을 통해 계산하였다. 수행된 인공 신경망의 성능 확인을 위해 실제 현장 자료(Gad et al., 1999)를 사용하였으며, 기존 역산법과 비교하였을 때 상당히 좋은 상관관계를 확인하였다(Fig. 3).

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F3.jpg

Fig. 3.

VES curve (thin line) 1D inversion results obtained from conventional (dashed line) and NN methods (thick line) (El-Qady and Ushijima, 2001).

이외에도 ANN 방법의 과적합(overfitting) 문제를 해결하기 위해 제안된 가지치기 베이지안(pruning Bayesian) 신경망(PBNN)을 사용한 역산 방법에서는(Jiang et al., 2016), 베이지안 통계를 순방향 신경망의 일반화(regularization) 계수를 추정하는 데 사용하고, 현장 자료에 적합한 샘플을 얻기 위해, 자료 포인트들의 중심점(medoid)의 거리를 최소화 하는 K-medoid 알고리듬에 기반한 샘플 설계 방법을 사용하였다. 수치 모델 및 역산 결과는 PBNN 방법이 역전파(backpropagation) 신경망(BPNN), 방사형 기저함수(radial basis function, RBF) 신경망(RBFNN) 및 정규화 방사형 기저함수(regularized RBF) 신경망(RBFNN) 보다 더 나은 일반화 및 전역 검색(global search)를 제공하며, 전기비저항 역산을 위한 기존의 적응형 정규화 방법보다 우수한 결과를 보였다.

최근에는 CNN을 사용한 방법이 다수 소개되고 있으며, 그 중 CNN의 입출력 차원을 압축하고 모델 정규화를 하기 위해 이산 코사인 변환(discrete cosine transform, DCT) 직교 기반 함수를 사용한 사례가 있다(Aleardi et al., 2021). 역산에 사용되는 CNN 방법은 훈련을 위해 몬테카를로(Monte Carlo, MC)방식과 DCT 매개변수를 통합하여 더 빠른 속도와 정밀도로 전기비저항 분포와 관련된 불확실성을 추정할 수 있다. 훈련 세트를 구성하는 수치 모델을 생성하기 위해 크리깅 통계적 방법(Azevedo and Soares, 2017)을 사용하여 20,000개의 전기비저항 모델을 무작위로 도출하고 가우스 잡음을 추가하였다. 이를 이용한 CNN 예측 결과와 MC 불확실성은 DCT 공간에서 실행되는 계산 비용이 더 높은 마르코프 연쇄(Markov Chain) MC(MCMC) 역산의 결과(Vinciguerra et al., 2020)와 국부 최소자승(local least-squares) 역산 알고리듬에 의해 도출된 예측과 비교하였다. 생성한 20,000개의 모델 중 18,000개는 훈련에, 2,000개는 검증에 사용하였으며, 전기비저항 모델의 자료세트를 근사화 하는 데 필요한 최적의 DCT 계수를 추정하였다. 검증 세트에서 추출된 전기비저항 참 모델과 CNN 예측을 비교하기 위해 단면을 나타냈다. 역산 단면은 가단면도와 유사함을 확인할 수 있었다.

한편, Vu and Jardini(2021)은 암호기(encoder)와 해독기(decoder)로 나눠진 CNN의 일종인 세그넷(SegNet) 아키텍쳐를 사용하여 수치 모델 및 현장자료를 역산하고 참모델과 비교하였다. 수치 모델 생성을 위해 가우스 분포(Gaussian distribution)를 사용하여 지리 통계적으로 로그 전기비저항 자료를 구성하였다. 수치 모델은 단극자 배열을 3 m 간격으로 17개 측선에서 3 ~ 105 ohm-m 사이의 전기비저항 값을 가지게 만들었다. 총 45,000개의 샘플 중 35,000개는 훈련을 위해 사용하였으며, 이 중 5,000개는 검증을 위해 사용하였고 나머지 10,000개는 테스트를 위해 사용하였다.

훈련 자료의 양은 많을수록 참모델과의 유사성이 높다는 것을 상관계수(R²)의 증가로 알 수 있으며, 이질성이 높은 모델만 분석할 경우 자료의 부족으로 인해 단면의 분해능이 저하된다. 잡음에 대한 영향도 확인하기 위해 겉보기 비저항 모델에 25% 및 50%의 가우스 잡음(Gaussian noise)를 추가하여 검증 세트에 대한 예측 결과를 분석한 결과 R² 결정계수가 각 0.77, 0.49로 나타나며, 정확도의 저하를 확인할 수 있었다. 마지막으로 접근 방식의 효율성과 한계에 대한 실험으로 이전 시험에서 형성된 네트워크를 적용하여 훈련 모델과 다른 이질성을 가진 모델에서 획득한 겉보기 전기비저항 단면을 해석하였다. 그 결과, 참모델과의 유사성이 떨어짐을 확인할 수 있었으며, 알고리듬을 사용한 정확성은 학습 모델의 이질성에 따라서도 달라지는 것을 확인하였다.

현장에서의 상황과 비슷하게 염분 기둥(plume)과 같은 전도성 물체의 움직임을 추적하여 획득한 전기비저항탐사 자료를 해석하기 위해 측선에 수직인 y축 방향을 따라 10^‒4 ms^‒1 유압 구배로 설정하고, 30 m 두께의 균질 대수층에 배치된 시추공으로 5 m³ d^-1 m^-1의 일정한 비율과 100 Mol m^-3의 농도의 소금을 주입한 수치모델을 생성하였다. 이를 세그넷을 사용하여 역산한 결과와 참모델을 비교하였을 때, 세그넷을 사용한 역산 결과가 기존의 역산법 보다 정확도가 높음을 알 수 있다.

심층학습 과정 중 학습이 심화되고, 계층이 추가되면서 정확도와 효율이 빠르게 저하되는 문제가 생긴다. 이를 해결하기 위해 더 깊은 층의 출력에 얕은 층의 결과를 추가하는 스킵 연결(skip connection)을 통해 층이 연결되는 레즈넷이 제안되었다(He et al., 2016). 레즈넷을 적용할 훈련 및 검증 세트를 구성하는 모델은 이전 모델 가정에 따라 생성되며, 2.5D 유한 요소 Matlab 모델링 코드로 겉보기 전기비저항 자료를 계산하는 수치 연산자(Karaoulis et al., 2013)를 구성하였다. 레즈넷 알고리듬을 사용하여 역산한 결과(Fig. 4a)와 검증 집합에서의 원하는 출력 결과(Fig. 4b)를 비교하기 위해 그 차이를 살펴보면(Fig. 4c), 두 결과가 매우 유사함을 확인할 수 있다(Aleardi et al., 2022).

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F4.jpg

Fig. 4.

(a) Inversion results using the ResNet algorithm (b) Desired output from the validation set (c) Differences between ResNet algorithms and desired output results for comparison (Aleardi et al., 2022).

해석 및 예측

전기비저항 탐사에서 광물 퇴적물(mineral sediments)과 기반암 사이와 같은 지하 매질의 경계를 설명하는 것은 역산에 사용되는 평활화 제약(smoothness-constraint)과 더 깊은 깊이에 대한 분해능 부족으로 인해 어려움이 따를 수 있다. 따라서, Ward et al.(2014)은 영국의 노턴(Norton)과 윌링턴(Willington)의 3D 자료로부터 기반암 경계를 구별하기 위한 클러스터링 기술을 제안하였다. 클러스터링 기술은 계층적(hierarchical), 밀도 기반(density-based) 및 중심 기반(centroid based), 분포 기반(distribution-based) 등 세 가지 주요 유형으로 분류된다. 이 중 3D 전기비저항 자료를 클러스터링 하기 위해 중심 기반 퍼지 C-평균(Fuzzy c-means, FCM) 클러스터링을 이용하였다.

FCM은 k-평균 클러스터링 방법의 아이디어를 취하기 때문에 비지도 학습으로 분류되기도 한다. FCM은 군집 중심까지의 거리에 대한 측정값을 기반으로 퍼지(또는 membership) 값을 설정하며, 퍼지 값은 확률 값과 유사하게 나타난다. 일반적으로 c클러스터와 퍼지 파티션은 초기 클러스터링 프로세스에서 무작위로 생성되지만 임의로 생성된 멤버 자격 값은 부적절한 클러스터링 결과를 생성할 수 있다. 이 문제를 극복하기 위해 사전 정의된 클러스터 중심 집합은 커널 밀도 추정(kernel density estimation, KDE)을 구현함으로써 수행하고, 이를 통해 지질 구조를 해석하였다(Fig. 5). 이 경우, 사용한 커널 함수는 대역폭(bandwidth) 변수로 구성된 가우스 함수로 대역폭 변수는 자동(automatic) 및 수동(manual) 선택에 의해 결정된다. 대역폭 값이 작으면 작은 값의 정점(peak)이 많이 생기는 반면, 대역폭이 크면 값은 보다 부드럽고 넓게 분포하게 된다. 대역폭 값을 결정하기 위한 자동화 방법은 Botev et al.(2010)에 의해 제안되었으며, 수동 대역폭은 밀도 함수를 분석하고 원하는 결과가 나올 때까지 값을 조정하여 선택하는 과정을 거쳐 적당한 클러스터 개수로 결과를 나타낼 수 있다.

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F5.jpg

Fig. 5.

FCM clustering results from the field based on both manual and automatic bandwidth selection of the KDE (Ward et al., 2014).

전자탐사 적용 사례

전자탐사는 높은 전기비저항 층 아래의 구조를 나타내기 힘든 전기비저항 탐사에 비해 이러한 구조에서의 적용이 보다 유리하며, 전극의 설치와 같은 번거로운 작업없이 탐사를 수행할 수 있는 장점이 있어 국내에서도 다양한 분야의 탐사에서 많이 사용되고 있다(Cho, 2006). 이러한 전자탐사는 전기비저항 탐사와 마찬가지로 전기비저항 구조를 역산하여 해석하므로 앞선 전기비저항 탐사와 유사한 과정으로 역산을 수행할 때 심층학습을 적용하는 연구가 이뤄지고 있으며(Kingma and Ba, 2014; Noh et al., 2020; Bang et al., 2021), 현장에서 획득하는 과정에서 발생하는 잡음을 심층학습을 적용하여 제거하는 연구도 다수 진행되고 있다(Chen et al., 2020; Lin et al., 2019). 이외에도 전자탐사 역산 결과에 심층학습을 적용하여 암염체의 경계를 해석 및 예측하는 연구도 진행된 바 있다(Oh et al., 2019; Oh et al., 2020).

자료처리

TEM탐사는 자료를 획득하는 과정에서 배경잡음, 인공잡음, 장비의 전자잡음과 같은 잡음의 영향으로 해석의 질이 낮아진다(Chen et al., 2020). TEM의 2차장(second field) 신호에서 잡음을 제거하기 위해 전통적으로 칼만 필터(Kalman filter)나 PCA와 파형 변환(wavelet transform)이 사용되어왔지만, 이러한 방법들은 2차장 신호의 잡음에 의해 생성된 파형의 왜곡으로 인해 신호에서 편차가 발생하는 문제가 있다. 이를 해결하기 위해 Lin et al.(2019)는 2차장 신호의 특성 분석을 기반으로 하는 SFSDSA (secondary field signal denoising stacked auto encoder)라는 비지도 심층 신경망 기계 학습 모델을 이용하였다. 2차장 신호를 실험 자료로 사용하였으며, 훈련 테스트로 2,400주기 TEM 2차장 신호에 대해 각 주기마다 434개의 자료를 선정하였다. 테스트 및 검증을 위해 100개의 신호 주기를 무작위로 획득하고, 전통적인 필터와 비교한 결과, SFSDSA 모델을 이용한 자료처리 결과가 가장 최적의 결과를 보여주었다.

한편, 지도학습방법으로는 잡음의 영향을 받은 자료를 처리하기 위해 주로 사용해온 DNN 방식의 잡음처리 과정은 완전히 연결된(fully connected) 신경망을 사용하지 않기 때문에 다양한 신호 척도를 처리할 수 있을 만큼 유연하지 않다는 단점이 존재한다(Chen et al., 2020). DNN 방식의 문제점을 해결하기 위해 Chen et al.(2020)은 신호 잡음 제거를 TEMDnet라는 이미지 잡음 제거 과정으로 변환하는 CNN 방법을 제안하였다. TEMDNet 모델은 딥러닝 체계 중 하나인 텐서플로(tensorflow)를 사용하여 구축하였으며, 자료처리 효과를 검증하기 위해 WEF(wavelet threshold-exponential adaptive window width filter; Ji et al., 2016), 주성분 분석(principal component analysis, PCA) (Wu et al., 2014), EF-AKF(exponential fitting-adaptive Kaltman Filter; Ji et al., 2018)과 같은 서로 다른 알고리듬을 사용한 결과와 비교하였다. 그 결과, 다른 알고리듬을 사용하여 자료처리를 하였을 때보다 초기시간과 후기시간 모두 효과적이었다.

역산

진동수 영역 전자탐사 역산에 심층학습의 적용은 CO₂ 포화도 예측을 위한 수치모형자료에 CNN 방법을 적용한 Puzyrev(2019)에 의해 시작되었고, 이 방법에서는 최적화 방법으로 계산 효율성이 좋고 수렴이 빠른 아담 최적화(Adam optimization) 알고리듬(Kingma and Ba, 2014)을 사용하였다. 훈련은 완전 합성곱층으로 구성하여 다양한 크기의 입력을 처리할 수 있도록 하였으며, 배치 정규화(batch regularization) (Ioffe and Szegedy, 2015) 작업도 수행하여 빠르고 높은 정확도의 훈련을 수행하였다. 학습을 위한 전자탐사 자료를 생성하기 위한 3D 수치 모델링은 전기장에 기초한 헬름홀츠(Helmholtz) 방정식을 병렬 3D 유한 차분(finite difference) 코드로 구현한 알고리듬을 사용하였다(Puzyrev and Cela, 2015). CO₂ 포화도와 모양 및 위치가 다른 잡음이 포함되지 않은 20,000개의 자료를 생성하여 훈련에 92% 자료세트를 사용하였고, 검증과 테스트에 각각 4%의 자료세트를 사용하였다.

CNN을 이용하여 역산한 결과와 참모델을 비교한 결과의 정확도를 확인하기 위해 IoU(intersection over union) 계산 결과를 나타낸 결과, IoU 평균값은 0.65로 CNN을 이용한 역산 방법의 정확성을 확인할 수 있었다.

이 밖에 진동수 영역 전자탐사 현장 자료의 역산에는 1992년 캐나다 노스웨스트 Lac de Gras 지역에서 획득한 고비저항의 화강암에서 킴벌라이트(kimberlites)를 찾기 위해 수행된 항공전자탐사 자료에 DNN을 이용한 1D 역산(Noh et al., 2020)과 순환(recurrent) 신경망(RNN) 을 이용한 2D 역산(Bang et al., 2021)을 적용시킨 사례가 있다. 이 경우, 1D DNN역산 결과와 2D RNN 역산 결과 모두 고립 이상체의 존재를 잘 영상화 하나 전통적인 역산과 마찬가지로 2D RNN 결과가 1D에 비해 3차원 역산 결과와 비슷한 이상체의 모양을 영상화 해주는 것을 알 수 있다(Noh et al., 2020; Bang et al., 2021).

한편, 시간영역 전자탐사는 진동수 영역 전자탐사보다 훨씬 더 많은 심층학습을 이용한 역산이 시도된 바 있는데, Wu et al.(2021)은 CNN을 사용하여 항공 시간영역 전자탐사 역산을 수행하였다. 훈련을 위해 많은 수의 전기비저항 모델을 생성하였는데, 최대 심도를 600 m로 하여 이 안에 층의 수를 1 ~ 15개 중 무작위로 선택하여 이상체가 위치하게 하였으며, 각 층은 1 ~ 1,000 ohm-m의 전기비저항 값을 가지도록 하였다. 연속적인 전기비저항 분포를 얻기 위해 스플라인 보간(spline interpolation)하였으며, 600 m 이하의 깊이는 균질한 값을 주었다. 현장자료는 캘리포니아에 위치한 Leach Lake 분지에서 수행한 항공 시간영역 전자탐사 결과를 사용하였다(Bedrosian et al., 2014).

훈련 시간과 모델 생성 시간, 평균 제곱근 오차(root mean square error) 잡음을 고려하여 훈련 세트를 80,000개로 수행하였으며, CNN을 사용한 역산의 평균 제곱근 비율 오차(root mean square percentage error) 값이 기존의 역산 방법인 가우스-뉴턴 방법보다 작게 나타났다. CNN을 사용한 역산 방법을 테스트 및 검증하기 위해 수치모델(Fig. 6)과 현장 자료(Fig. 7)에 적용하였다. 그 결과, 참모델과 비교하였을 때 수치 모델 및 현장 자료를 사용하여 CNN 방법을 사용한 역산 결과가 가우스-뉴턴 방법을 사용한 역산 결과보다 깊은 저비저항 이상체를 뚜렷하게 나타냈으며, 더 정확하게 기하학적 구조를 묘사한 것을 확인할 수 있었다. 즉각적인 역산을 수행하기 위해 이와 같이 CNN 또는 완전 연결 신경망 같은 네트워크를 사용하지만 고유한 메커니즘에 의해 시계열 자료처리에 취약하기 때문에 시계열 분석에 두각을 나타내는 장단기 메모리(long short-term memory, LSTM)를 사용한 사례도 있다(Wu et al., 2022). LSTM을 사용한 사례에서는 GNMT(Wu et al., 2016)을 기반으로 하나의 LSTM 인코더와 하나의 LSTM 디코더로 구성하였으며, 미국 지질연구소(USGS)에서 얻은 전기비저항 단면과 잘 일치함을 확인할 수 있다.

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F6.jpg

Fig. 6.

(a) The synthetic 3D model is illustrated using one vertical slice (y = 0) and three horizontal slices (z = 100, 250 and 450 m). Black triangles represent the locations of 25 receivers on the surface. (b) Vertical cross-section of the model in (a) at y = 0. (c) Cross section at y = 0 is obtained by stitching together the 1D models obtained at the 25 receivers) by Gauss–Newton inversion methods. (d) Same as (c) but obtained by CNN inversion (Wu et al., 2021).

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F7.jpg

Fig. 7.

(a) Leach Lake Basin study area with ATEM flight lines (thin black lines). The flight line used in this study is indicated by the yellow line. (b) Pseudo cross section obtained by stitching together the 1D resistivity models along flight line from the USGS inversion. The transceiver altitudes are indicated by the black dashed line. (c) Same as (b) but from CNN inversion (Wu et al., 2021).

해석 및 예측

탄화수소 저류층은 대게 암염체의 측면이나 아래에 존재하고 있기 때문에 암염의 경계를 정확히 파악하는 것이 중요하게 여겨지나 탄성파 탐사를 통해서는 암염의 상부층과 경사가 크지 않은 측면경계에 대한 정보는 비교적 정확하게 얻을 수 있는 반면 하부경계에 대한 정보는 얻을 수 없다. Oh(2020)은 탄성파로부터 얻어지는 암염의 상부 및 측면 일부에 대한 정보를 해양전자탐사(marine controlled- source EM, mCSEM) 자료와 함께 이용하여 암염을 주변 매질로부터 식별해내는 복합역산을 심층학습기법을 이용하여 구현하였다. 입력자료로는 수평 전기장 송신원에 의한 수평 방향의 전기장이 사용되었고 진동수는 0.05 Hz에서 1.6 Hz 사이의 로그 간격의 6개가 사용되었다. 또한 탄성파 탐사에 의해 레이블로 사용될 동일 암염 전기비저항 모델의 상부층과 경사가 크지 않은 측면의 경계를 얻었다는 가정하에 정보를 추출하여 이 정보를 유넷 아키텍쳐의 마지막층에 추가하여 역산의 분해능을 높였다.

또한 잡음에 의한 영향을 확인하기 위해 잡음을 섞은 자료를 추가하여 훈련한 복합역산 심층학습 모델의 성능을 비교 분석하였다. 2%의 가우시안(Gaussian) 분포를 갖는 무작위 잡음을 섞은 전자탐사 자료를 학습된 여러 심층학습 모델로 예측해본 전기비저항 영상과 암염분리(segmented mask) 결과(Fig. 8)를 보면, 탄성파에 의한 정보가 추가되면 암염의 형태를 보다 정확하게 예측할 수 있고 잡음이 포함된 자료를 학습에 사용함으로써 잡음에 의한 영향을 줄일 수 있음을 보여주었다.

https://cdn.apub.kr/journalsite/sites/ksmer/2022-059-04/N0330590406/images/ksmer_59_04_06_F8.jpg

Fig. 8.

Examples of prediction results of 8 tests including 2% Gaussian noise. The red line and value expressed in each segmented mask indicate the true boundary of salt body and the IoU, respectively. IDL, CDL and NCDL represent the independent DL inversion, cooperative DL inversion, and noise added cooperative DL inversion, respectively (Oh, 2020).

유도분극탐사 적용 사례

광대역 유도분극(Spectral IP, SIP) 탐사를 수행하여 얻은 분산 곡선에 Cole-Cole 모델을 사용하여 다양한 암석과 광석의 구성 및 내부 구조를 추론할 수 있다(Cole and Cole, 1942; Pelton et al., 1978). Cole-Cole 모델을 사용한 기존의 변수 예측 방법으로 비선형 최소자승법(Freeborn et al., 2012), 최소 절대 편차법(Yang et al., 2013), 직접(direct) 역산법(Xiang et al., 2001), 베이지안(Beysian) 추론 방법인 Markov-chain Monte Carlo simulation(Ghorbani et al., 2007; Chen et al., 2008; Bérubé et al., 2017), 변수 역산에 사용되는 유전 알고리듬(genetic algorithm) (Miranda and Rivera, 2008)과 같은 방법을 사용해 왔다. 하지만 이러한 방법들은 초기 값 의존성, 잡음 취약성과 같은 문제를 가지고 있어 이를 해결하기 위해 심층학습을 적용한 사례가 늘고 있다. 또한 시간영역 감쇠 곡선에서의 잡음을 처리하고, 적용성 평가를 수행한 연구도 진행되고 있다(Barfod et al., 2021).

자료처리

심층학습을 적용한 시간영역 IP 자료처리 평가를 위해 덴마크 그린스테드(Grindsted)에 위치한 쓰레기 매립지에서 총 8개의 측선에서 얻은 총 16,511개의 충전율 커브에서 15.2%에 해당하는 자료 세트를 선택하여 85%를 훈련 자료, 15%를 검증 자료로 구성하였다(Barfod et al., 2021). 네트워크는 아담 최적화(Kingma and Ba, 2014)를 변형한 AMSGrad와 역전파 알고리듬(Rumelhart et al., 1986)을 사용하여 훈련하였다. 기존의 매뉴얼 자료처리 방식으로 자료 처리하고, 역산한 결과와 심층학습을 사용한 결과를 비교하였을 때, 시간상수를 제외하고 비슷한 결과를 보임으로써 IP자료처리에도 심층학습 기법이 사용될 수 있음을 보여주었다.

해석 및 예측

SIP 자료 해석을 위한 심층학습 적용성을 테스트하기 위해 입력으로 진동수에 따른 복소 값을 사용하였고, 출력으로 4개의 암질(lithology)이 나오도록 하였다(Shin et al., 2018). 훈련을 위한 SIP 자료는 3개의 금속 광산 및 1개의 석회암 광산의 굴착 코어로부터 얻은 침입암(intrusion rocks), 탄산염암, 스카른(Skarn), 광물화된 암석을 임피던스 분석기(impedance analyzer)로 0.125 ~ 1,024 Hz 범위에서 측정하여 사용하였다(Shin et al., 2016). 획득한 자료 중 전극 또는 막 분극의 지구물리현상은 100 Hz 미만의 진동수에서 확산층의 전기화학적 특성에 따라 달라지기 때문에(Dias, 2000; Revil et al., 2014) 16 Hz의 동일한 8개 진동수에서의 자료를 선택하여 훈련을 위해 자료 100 세트, 검증을 위해 106개를 사용하였다.

은닉층과 출력층의 가중치는 각각 ReLu와 Softmax 함수로 생성하였고, 과적합문제를 해결하기 위해 데이터 불일치(misfit)를 기반으로 훈련의 최적 반복 횟수를 결정하거나(Prechelt, 1998) 정규화를 적용하였다. 정규화는 여러 조건에서의 실험을 통해 가장 불일치가 적은 정규화 변수값(𝜆)이 1인 L2 norm 정규화 방법을 사용하였다. 심층학습 훈련 및 검증 결과, 침입암을 제외하면 예측 정확도는 만족스럽게 나타났다. 검증 결과를 분석하기 위해 잘못 예측된 세트를 살펴본 결과, 잘못된 분류는 암석 샘플의 약한 SIP 특성과 관련이 있다는 것이 분명해졌으며, 광물화된 암석은 가장 강한 SIP 특성을 가지고 있기 때문에 명확한 예측이 가능함을 알 수 있다.

금 광상(gold deposit) 조사를 위해 전자탐사 자료와 자력(magnetic) 탐사 자료를 이용해 심층 신경망 예측 표적화(predictive targeting) 해석을 수행한 바 있다(Müller et al., 2022). 헬리콥터 시간 영역 전자탐사(helicopter TEM)를 통해 획득한 항공 IP Cole-Cole 매개변수를 DNN을 이용하여 예측하였으며, 레이블을 출력 값으로 설정하여 훈련하였다. 높은 전기비저항 영역과 균열을 따른 잠재적인 열수 변성대를 주된 타겟으로 하여 신경망을 학습시켰으며, 이를 통해 금 부존 영역을 구분하였다.

Liu et al.(2021a)은 Cole-Cole 모델 변수 예측을 위해 수치 자료를 사용하여 학습시켰는데, 테스트 및 검증하기 위해 전기비저항의 범위가 0.01 ~ 10,000 ohm-m, 충전율 0 ~ 1, 시간상수 0.0001 ~ 10,000 s, 진동수 지수가 2-10 ~ 210인 자료를 10,000개 생성하여 5,000 세트는 훈련, 나머지 5,000 세트는 테스트를 위해 사용하였다. 인공 신경망은 3개의 신경망을 포함한 총 12개의 층으로 구성하였으며, 반복 최적화를 위해 Levenberg-Marquardt 알고리듬을 사용하였다. 잡음이 없는 자료와 3%의 무작위 잡음을 더한 자료를 훈련시키고 테스트한 결과, 잡음이 없는 자료의 정확성은 기존 방법의 정확성과 비슷하였지만 잡음을 추가한 자료의 정확성은 더 뛰어난 것을 알 수 있다. 실내실험을 통해 얻은 다양한 종류의 광물암 샘플을 사용하여 적용해본 결과, ANN 알고리듬이 다양한 유형의 분산 곡선을 효과적으로 식별하고, Cole-Cole 모델의 매개 변수를 추정할 수 있음을 보여준다.

자연전위탐사 적용 사례

자연전위탐사를 통해 이상체의 심도를 파악하기 위해 관찰값과 계산값 사이의 최소를 찾기 위한 시도를 반복하는 최소 자승법(Abdelrahman and Sharafeldin, 1997; Abdelrahman et al., 1997a), 수치 구배법(Abdelrahman et al., 1997b), 도함수 분석법(Abdelrahman et al., 1998) 사용해 왔지만 앞선 전통적인 방법을 보완하고자 심층학습을 적용하여 역산을 시도한 사례를 살펴보고자 한다.

역산

SP 역산은 지하매질 모델의 SP 이상체 반응을 유한한 실제 관측 세트에 맞추려는 시도로 기존에 사용하던 역산 방법의 단점을 보완하고자 인공신경망 방법을 적용하였다(El-Kaliouby and Al-Garni, 2009). 효율적인 SP 역산을 위해 계산이 서로 연계되지 않고, 별개의 입력에 대해 작동하는 네트워크인 모듈형(Modular) 신경망(MNN; Haykin, 1994) 을 사용하였다. NN망은 거리 정보를 가진 SP 자료를 사용하여 중심 깊이(h), 중심 너비(a), 분극 크기(k), 원점으로부터의 거리(x₀), 경사 각도(𝛼)를 얻을 수 있도록 훈련하였다.

수치 모델은 2 m 간격으로 160 m 측선으로 설정하여 81개 지점에서 자료를 생성하였다. h의 범위는 5 ~ 15 m, a의 범위는 2 ~ 8 m, 𝛼는 20° ~ 60°, k는 70 ~ 130 mV, x₀는 ‒15 ~ 30 m의 범위로 모델을 만들어 6,125개를 훈련 세트로 사용하였다. 수치모델은 10% 내외의 랜덤 백색(white) 가우 잡음을 추가하여 MNN을 수행하였다. MNN을 사용하여 역산한 수치모델 결과와 참모델이 유사함을 확인하였다. 마지막으로 실제 적용성 평가를 위해 인도의 Rakha 광산에서 얻은 16,807개의 현장 자료(Murthy et al., 2005)와 Kalava 단층대를 지나는 광물 이상체에서 얻은 12,500개의 현장 자료(Rao et al., 1982)를 사용하여 테스트하였다. 역산 결과는 기존의 방법 중 워너 곱풀기(Werner deconvolution) 방법을 변형한 역산 결과(Murthy et al., 2005)와 초기값을 사용한 역산 방법(Rao et al., 1993) 보다 더 정확한 것을 출력 변수를 통해 알 수 있다.

자기지전류탐사 적용 사례

역산

가청진동수 자기지전류(audio-frequency magnetotelluric, AMT) 탐사 자료를 역산하기 위해 완전(fully) CNN(FCN)이 18개의 층으로 이루어진 망(18RFCN)을 개발하였다(Liu et al., 2021b). 18RFCN은 레즈넷(He et al., 2016)으로 구축되어 심층 신경망을 훈련할 때 층 사이의 연결을 추가하여 기울기 소실이라는 단점을 해결할 수 있다. 또한, 과적합 문제를 해결하기 위해 두 가지 무작위 생성 접근 방법을 채택하여 백만 개 이상의 샘플 자료 세트를 빠르게 생성하였다. 훈련을 위한 자료로 하나의 대기 층과 한 층의 두께가 50 m인 40개의 지하 층을 가진 1D 모델을 생성하였다. 모델의 다양성을 위해 2 ~ 220 ohm-m의 전기비저항 값을 가진 11개 층을 가진 보조 모델을 생성하여 생성한 1D 모델과 겹쳐 300만개의 모델을 생성할 수 있었다.

생성한 모델 중 99%을 훈련 세트로, 1%를 검증 세트로 사용하였으며, 18RFCN 알고리듬을 이용하여 훈련하고 수행한 수치모델 역산 결과 가우스-뉴턴 알고리듬 결과 및 참모델 결과와 유사함을 확인할 수 있었다. 합성곱 알고리듬의 성능을 추가로 검증하기 위해 중국 칭하이 성에서 수리지질학적 특성을 파악할 목적으로 수집한 AMT 현장 자료를 역산하였다. W2 측선에서 10개의 지점에서 얻은 자료(Xu et al., 2019)를 가우스-뉴턴 알고리듬, 평활화 제약조건을 준 18RFCN 알고리듬과 평활화 제약조건 없는 18RFCN 알고리듬을 사용하여 얻은 1D 역산 결과로부터 얻은 2D 가단면도 결과가 서로 유사하였으며, 시추공 결과와도 일치하였다. 특히, 가우스-뉴턴 방법은 1D 모델당 약 수십 초가 소요된 반면, 두 가지 딥 러닝 방법은 시간이 거의 걸리지 않았으며, 가우스-뉴턴 방법의 역산 결과는 초기 모델과 정규화 인자의 영향을 크게 받기 때문에 딥러닝 방법이 효과적임을 알 수 있다.

결론 및 토의

이 논문에서는 전기전자탐사 방법을 이용하여 얻은 자료를 처리, 해석, 예측하는 데 다양한 심층학습 방법을 적용한 사례들을 제시하였다. 심층학습을 적용하기 이전에는 선형 또는 준선형 및 확률적 방법에 의존하여 자료를 다뤄왔지만 이러한 기존의 방식에는 초기 값 설정 및 국소 최저치, 과적합 등 여러 어려움이 존재하며, 장비의 발전으로 획득한 자료의 양이 늘어남에 따라 소요시간이 늘어나고, 전문 지식을 갖춘 노동력을 필요로 하게 되었다. 이러한 어려움을 해결하고자 심층학습 적용성에 대한 기술 개발 및 연구가 활발히 이루어지고 있으며, 이와 관련된 연구 사례들을 통해 분석한 내용을 기술하며 정리하였다.

전기전자탐사를 수행한 결과로 획득할 수 있는 자료를 해석하기 위해 필수적인 과정이라 할 수 있는 역산 문제는 불량조건 문제로 심층학습도 같은 문제를 가지고 있지만 해결 방식은 기존 역산 방법의 경우, 초기 모델과 정규화에 의존하고, 심층학습의 경우, 학습 자료 구성에 의존한다는 차이를 보인다. 심층학습 결과는 학습 자료 구성에 많은 영향을 받는 만큼 학습 자료를 구성하고 훈련하는 과정에서 많은 시간이 소요되지만 한번 훈련시킨 알고리듬을 사용하면 현장 자료의 역산이나 해석을 매우 짧은 시간에 할 수 있다는 장점이 있다. 하지만 훈련 자료와 테스트 자료의 차이가 많이 나는 경우 원하는 결과를 얻지 못할 수 있다. 한편, 전통적 역산법이 불량조건 문제이기에 여러가지 해가 얻어질 수 있다는 것에 비해, 심층학습 방식은 단일해를 출력한다는 장점이 있다. 물론 이는 학습자료가 잘못 구성되었거나 예측할 입력자료의 전처리가 적절하지 않았을 때 잘못된 예측 결과를 제공하게 되기 때문에 예측된 단일결과를 전적으로 신뢰하기 보다는 예측 결과를 평가할 수 있는 전문가의 최종 확인이 필요하다.

전통적 역산법과 심층학습은 각각은 나름의 장단점을 지니고 있다. 즉, 기존 역산의 문제점들을 심층학습을 사용하여 해결할 수 있지만 심층학습의 문제점 또한 해결해야 할 과제이다. 전세계적으로 심층학습을 여러 전기전자탐사 자료 해석 과정에 적용하고, 완성도를 높이기 위한 연구가 다수 존재하며, 새로운 인공지능 모델의 개발에 따라 적용 범위와 그 정확도도 높아지고 있다. 국내 연구자들도 진동수 영역 전자탐사 및 IP탐사에 심층학습 기법을 적용한 세계적인 연구성과를 내고는 있으나 좀 더 다양한 전기전자탐사 분야로 연구의 범위를 넓힐 필요가 있다. 국내에서도 다양한 전기전자 탐사 분야에 심층학습을 적용하는 연구 및 기술을 개발함으로써 향후 전기전자탐사를 수행하여 얻은 자료를 보다 효과적으로 처리하고, 해석할 수 있을 것으로 기대된다. 또한 전통적으로 해석의 어려움으로 현장 적용에 제약을 받아왔던 전자탐사가 보다 다양한 분야에 활발히 적용될 수 있기를 기대해 본다.

Acknowledgements

이 논문은 2022년도 원자력안전위원회의 재원으로 사용후핵연료관리핵심기술개발사업단 및 한국원자력안전재단의 지원을 받아 수행된 연구사업임(No. 2109092-0121-WT112).

References

Abdelrahman, E.M., Ammar, A.A., Sharafeldin, S.M., and Hassanein, H.I., 1997a. Shape and depth solutions from numerical horizontal self-potential gradients, Journal of Applied Geophysics, 37(1), p.31-43. 10.1016/S0926-9851(96)00058-4

Abdelrahman, E.M., El-Araby, T.M., Ammar, A.A., and Hassanein, H.I., 1997b. A least-squares approach to shape determination from residual self-potential anomalies, Pure and Applied Geophysics, 150(1), p.121-128. 10.1007/s000240050067

Abdelrahman, E.S. M., Ammar, A.A.B., Hassanein, H.I., and Hafez, M.A., 1998. Derivative analysis of SP anomalies. Geophysics, 63(3), p.890-897. 10.1190/1.1444399

Abdelrahman, E.S.M. and Sharafeldin, S.M., 1997. A least- squares approach to depth determination from self-potential anomalies caused by horizontal cylinders and spheres, Geophysics, 62(1), p.44-48. 10.1190/1.1444143

Aleardi, M., Vinciguerra, A., and Hojat, A., 2021. A convolutional neural network approach to electrical resistivity tomography, Journal of Applied Geophysics, 193, p.104434. 10.1016/j.jappgeo.2021.104434

Aleardi, M., Vinciguerra, A., Stucchi, E., and Hojat, A., 2022. Probabilistic inversions of electrical resistivity tomography data with a machine learning‐based forward operator, Geophysical Prospecting, 70, p.938-995. 10.1111/1365-2478.13189

Alom, M.Z., Taha, T.M., Yakopcic, C., Westberg, S., Sidike, P., Nasrin, M.S., Hasan, M., Van Essen, B.C., Awwal, A.A.S., and Asari, V.K., 2019. A state-of-the-art survey on deep learning theory and architectures, Electronics, 8(3), p.292. 10.3390/electronics8030292

Araya-Polo, M., Dahlke, T., Frogner, C., Zhang, C., Poggio, T., and Hohl, D., 2017. Automated fault detection without seismic processing, The Leading Edge, 36(3), p.208-214. 10.1190/tle36030208.1

Aster, R.C., Borchers, B., and Thurber, C.H., 2018. Parameter estimation and inverse problems, Elsevier, 404p. 10.1016/B978-0-12-804651-7.00015-8

Azevedo, L. and Soares, A., 2017. Geostatistical methods for reservoir geophysics, Switzerland: Springer. 10.1007/978-3-319-53201-1

Bang, M., Byun, J., and Seol, S.J., 2022. Deep neural network-based airborne EM data inversion suitable for mountainous field sites, In expanded abstract of the 83rd EAGE Annual Conference & Exhibition, European Association of Geoscientists & Engineers, p.1-5. 10.3997/2214-4609.202210341

Bang, M., Oh, S., Noh, K., Seol, S. J., and Byun, J., 2021. Imaging subsurface orebodies with airborne electromagnetic data using a recurrent neural network, Geophysics, 86(6), p.407-419. 10.1190/geo2020-0871.1

Barfod, A.S., Lévy, L., and Larsen, J.J., 2021. Automatic processing of time domain induced polarization data using supervised artificial neural networks, Geophysical Journal International, 224(1), p.312-325. 10.1093/gji/ggaa460

Bedrosian, P.A., Ball, L.B., and Bloss, B.R., 2014. Airborne Electromagnetic Data and Processing Within Leech Lake Basin, Fort Irwin, California, US Department of the Interior, US Geological Survey, 20p. 10.3133/ofr20131024G

Bérubé, C.L., Chouteau, M., Shamsipour, P., Enkin, R.J., and Olivo, G.R., 2017. Bayesian inference of spectral induced polarization parameters for laboratory complex resistivity measurements of rocks and soils, Computers & Geosciences, 105, p.51-64. 10.1016/j.cageo.2017.05.001

Binley, A., Hubbard, S.S., Huisman, J.A., Revil, A., Robinson, D.A., Singha, K., and Slater, L.D., 2015. The emergence of hydrogeophysics for improved understanding of subsurface processes over multiple scales, Water resources research, 51(6), p.3837-3866. 10.1002/2015WR01701626900183PMC4744786

Botev, Z.I., Grotowski, J.F., and Kroese, D.P., 2010. Kernel density estimation via diffusion, The annals of Statistics, 38(5), p.2916-2957. 10.1214/10-AOS799

Boyd, J., Chambers, J., Wilkinson, P., Peppa, M., Watlet, A., Kirkham, M., Jones, L., Swift, R., Meldrum, P.I., Uhlemann, S., and Binley, A., 2021. A linked geomorphological and geophysical modelling methodology applied to an active landslide, Landslides, 18(8), p.2689-2704. 10.1007/s10346-021-01666-w

Chen, J., Kemna, A., and Hubbard, S.S., 2008. A comparison between Gauss-Newton and Markov-chain Monte Carlo-based methods for inverting spectral induced-polarization data for Cole-Cole parameters, Geophysics, 73(6), p.F247-F259. 10.1190/1.2976115

Chen, K., Pu, X., Ren, Y., Qiu, H., Lin, F., and Zhang, S., 2020. TEMDnet: A Novel Deep Denoising Network for Transient Electromagnetic Signal with Signal-to-Image Transformation, IEEE Transactions on Geoscience and Remote Sensing, 60, p.1-18. 10.1109/TGRS.2020.3034752

Cho, D.H., 2006. Electromagnetic survey in Korea, Economic and Environmental Geology, 39(4), p.427-440.

Cole, K.S. and Cole, R.H., 1942. Dispersion and absorption in dielectrics II. Direct current characteristics, The Journal of Chemical Physics, 10(2), p.98-105. 10.1063/1.1723677

Constable, S., Orange, A., and Key, K., 2015. And the geophysicist replied:"Which model do you want?", Geophysics, 80(3), p.E197-E212. 10.1190/geo2014-0381.1

Delon, J. and Houdard, A., 2018. Gaussian priors for image denoising. In Denoising of Photographic Images and Video, Springer, p.125-149. 10.1007/978-3-319-96029-6_5

Dias, C.A., 2000. Developments in a model to describe low-frequency electrical polarization of rocks, Geophysics, 65(2), p.437-451. 10.1190/1.1444738

El-Kaliouby, H.M., and Al-Garni, M.A., 2009. Inversion of self-potential anomalies caused by 2D inclined sheets using neural networks, Journal of geophysics and engineering, 6(1), p.29-34. 10.1088/1742-2132/6/1/003

El-Qady, G. and Ushijima, K., 2001. Inversion of DC resistivity data using neural networks, Geophysical Prospecting, 49(4), p.417-430. 10.1046/j.1365-2478.2001.00267.x

Fallon, G.N., Fullagar, P.K., and Sheard, S.N., 1997. Application of geophysics in metalliferous mines, Australian Journal of Earth Sciences, 44(4), p.391-409. 10.1080/08120099708728321

Freeborn, T.J., Maundy, B., and Elwakil, A.S., 2012. Least squares estimation technique of Cole-Cole parameters from step response, Electronics letters, 48(13), p.1. 10.1049/el.2012.0360

Gad, E., Ushijima, K., and Hassanen, G., 1999. Reconnaissance electrical resistivity survey of geothermal reservoir at Hamam Faraun area, Sinai Peninsular, Egypt; Egypt {center {underscore} dot} Sinai hanto Faraun chiiki no chinetsu choryuso no denki tansa, Geophysical Exploration, 52.

Géron, A., 2019. Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems, O'Reilly Media, Inc.

Ghorbani, A., Camerlynck, C., Florsch, N., Cosenza, P., and Revil, A., 2007. Bayesian inference of the Cole-Cole parameters from time‐and frequency‐domain induced polarization, Geophysical prospecting, 55(4), p.589-605. 10.1111/j.1365-2478.2007.00627.x

Giampaolo, V., Capozzoli, L., Grimaldi, S., and Rizzo, E., 2016. Sinkhole risk assessment by ERT: The case study of Sirino Lake (Basilicata, Italy), Geomorphology, 253, p.1-9. 10.1016/j.geomorph.2015.09.028

Goodfellow, I., Bengio, Y., and Courville, A., 2016. Deep learning, MIT press.

Haykin, S., 1994. Neural networks, A comprehensive foundation, 842p.

He, K., Zhang, X., Ren, S., and Sun, J., 2016. Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition. p.770-778. 10.1109/CVPR.2016.9026180094

Hellman, K., Günther, T., and Dahlin, T., 2012. September. Application of joint inversion and fuzzy c-means cluster analysis for road pre-investigations, In Near Surface Geoscience 2012-18th European Meeting of Environmental and Engineering Geophysics, European Association of Geoscientists & Engineers. p.306. 10.3997/2214-4609.20143417

Ho, T.L., 2009. 3-D inversion of borehole-to-surface electrical data using a back-propagation neural network, Journal of Applied Geophysics, 68(4), p.489-499. 10.1016/j.jappgeo.2008.06.002

Hornik, K., Stinchcombe, M., and White, H., 1990. Universal approximation of an unknown mapping and its derivatives using multilayer feedforward networks, Neural networks, 3(5), p.551-560. 10.1016/0893-6080(90)90005-6

Ioffe, S. and Szegedy, C., 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift, In International conference on machine learning, p.448-456.

Islami, N., 2017. Evaluation of the Fate of Nitrate and Analysis of Shallow Soil Water using Geo-electrical Resistivity Survey, Journal of Engineering & Technological Sciences, 49(4). 10.5614/j.eng.technol.sci.2017.49.4.5

Ji, Y., Li, D., Yu, M., Wang, Y., Wu, Q., and Lin, J., 2016. A de-noising algorithm based on wavelet threshold-exponential adaptive window width-fitting for ground electrical source airborne transient electromagnetic signal, Journal of Applied Geophysics, 128, p.1-7. 10.1016/j.jappgeo.2016.03.001

Ji, Y., Wu, Q., Wang, Y., Lin, J., Li, D., Du, S., Yu, S., and Guan, S., 2018. Noise reduction of grounded electrical source airborne transient electromagnetic data using an exponential fitting adaptive Kalman filter, Exploration Geophysics, 49(3), p.243-252. 10.1071/EG16046

Jiang, F.B., Dai, Q.W., and Dong, L., 2016. Nonlinear inversion of electrical resistivity imaging using pruning Bayesian neural networks, Applied Geophysics, 13(2), p.267-278. 10.1007/s11770-016-0561-1

Karaoulis, M., Revil, A., Tsourlos, P., Werkema, D.D., and Minsley, B.J., 2013. IP4DI: A software for time-lapse 2D/3D DC-resistivity and induced polarization tomography, Computers & Geosciences, 54, p.164-170. 10.1016/j.cageo.2013.01.008

Karaoulis, M., Tsourlos, P., Kim, J.H., and Revil, A., 2014. 4D time‐lapse ERT inversion: introducing combined time and space constraints, Near Surface Geophysics, 12(1), p.25-34. 10.3997/1873-0604.2013004

Kataoka, S. and Yasuda, M., 2019. Bayesian image denoising with multiple noisy images, The Review of Socionetwork Strategies, 13(2), p.267-280. 10.1007/s12626-019-00043-3

Kim, J.H., Yi, M.J., Song, Y., and Chung, S.H., 2001. A Study on the Modified Electrode Arrays in Two-Dimensional Resistivity Survey, Geophysics and Geophysical Exploration, 4(3), p.59-69.

Kingma, D.P. and Ba, J., 2014. Adam: A method for stochastic optimization, arXiv preprint arXiv, p.1412-6980.

Langley, P., 2011. The changing science of machine learning, Machine learning, 82(3), p.275-279. 10.1007/s10994-011-5242-y

LeCun, Y., Bengio, Y., and Hinton, G., 2015. Deep learning, Nature, 521, p.436-444. 10.1038/nature1453926017442

Lin, F., Chen, K., Wang, X., Cao, H., Chen, D., and Chen, F., 2019. Denoising stacked autoencoders for transient electromagnetic signal denoising, Nonlinear Processes in Geophysics, 26(1), p.13-23. 10.5194/npg-26-13-2019

Liu, B., Guo, Q., Li, S., Liu, B., Ren, Y., Pang, Y., Guo, X., Liu, L., and Jiang, P., 2020. Deep learning inversion of electrical resistivity data, IEEE Transactions on Geoscience and Remote Sensing, 58(8), p.5715-5728. 10.1109/TGRS.2020.2969040

Liu, W., Chen, R., and Yang, L., 2021a. Cole-Cole model parameter estimation from multi-frequency complex resistivity spectrum based on the artificial neural network, Journal of Environmental and Engineering Geophysics, 26(1), p.71-77. 10.32389/JEEG20-054

Liu, Z., Chen, H., Ren, Z., Tang, J., Xu, Z., Chen, Y., and Liu, X., 2021b. Deep learning audio magnetotellurics inversion using residual-based deep convolution neural network, Journal of Applied Geophysics, 188, p.104309. 10.1016/j.jappgeo.2021.104309

Loke, M.H. and Barker, R.D., 1995. Least-squares deconvolution of apparent resistivity pseudosections, Geophysics, 60(6), p.1682-1690. 10.1190/1.1443900

Marzán, I., Martí, D., Lobo, A., Alcalde, J., Ruiz, M., Alvarez- Marrón, J., and Carbonell, R., 2021. Joint interpretation of geophysical data: Applying machine learning to the modeling of an evaporitic sequence in Villar de Cañas (Spain), Engineering Geology, 288, p.106126. 10.1016/j.enggeo.2021.106126

Miranda, D.A. and Rivera, S.L., 2008. Determination of Cole-Cole parameters using only the real part of electrical impedivity measurements, Physiological Measurement, 29(5), p.669. 10.1088/0967-3334/29/5/01118460752

Monajemi, H., Donoho, D.L., and Stodden, V., 2016. Making massive computational experiments painless, In 2016 IEEE International Conference on Big Data (Big Data), p.2368-2373. 10.1109/BigData.2016.7840870

Müller, D., Kwan, K., and Groves, D.I., 2022. Integrated geophysical signatures and structural geometry of the Kabinakagami Lake greenstone belt, Superior Province, Ontario, Canada: Exploration implications for concealed Archean orogenic gold deposits, Journal of Applied Geophysics, 199, p.104613. 10.1016/j.jappgeo.2022.104613

Murthy, I.R., Sudhakar, K.S., and Rao, P.R., 2005. A new method of interpreting self-potential anomalies of two- dimensional inclined sheets, Computers & geosciences, 31(5), p.661-665. 10.1016/j.cageo.2004.11.017

Naudet, V., Gourry, J.C., Mathieu, F., Girard, J.F., Blondel, A., and Saada, A., 2011. 3D electrical resistivity tomography to locate DNAPL contamination in an urban environment, In Near Surface 2011-17th EAGE European Meeting of Environmental and Engineering Geophysics, European Association of Geoscientists & Engineers, p.253. 10.3997/2214-4609.20144385

Neyamadpour, A., Taib, S., and Abdullah, W.W., 2009. Using artificial neural networks to invert 2D DC resistivity imaging data for high resistivity contrast regions: A MATLAB application, Computers & Geosciences, 35(11), p.2268-2274. 10.1016/j.cageo.2009.04.004

Noh, K., Yoon, D., and Byun, J., 2020. Imaging subsurface resistivity structure from airborne electromagnetic induction data using deep neural network, Exploration Geophysics, 51(2), p.214-220. 10.1080/08123985.2019.1668240

Oh, S., 2020. Cooperative Deep Learning Inversion of Electromagnetic Data with Seismic Constraint, Doctoral dissertation, Hanyang University.

Oh, S., Noh, K., Seol, S.J., and Byun, J., 2020. Cooperative deep learning inversion of controlled-source electromagnetic data for salt delineationCooperative DL inversion, Geophysics, 85(4), p.E121-E137. 10.1190/geo2019-0532.1

Oh, S., Noh, K., Yoon, D., Seol, S.J., and Byun, J., 2019. Salt delineation from electromagnetic data using convolutional neural networks, IEEE Geoscience and Remote Sensing Letters, 16(4), p.519-523. 10.1109/LGRS.2018.2877155

Pelton, W.H., Ward, S.H., Hallof, P.G., Sill, W.R., and Nelson, P.H., 1978. Mineral discrimination and removal of inductive coupling with multifrequency IP, Geophysics, 43(3), p.588- 609. 10.1190/1.1440839

Pidlisecky, A. and Knight, R., 2008. FW2_5D: A MATLAB 2.5-D electrical resistivity modeling code, Computers & Geosciences, 34(12), p.1645-1654. 10.1016/j.cageo.2008.04.001

Prechelt, L., 1998. Automatic early stopping using cross validation: quantifying the criteria, Neural Networks, 11(4), p.761-767. 10.1016/S0893-6080(98)00010-0

Puzyrev, V. and Cela, J.M., 2015. A review of block Krylov subspace methods for multisource electromagnetic modelling, Geophysical Journal International, 202(2), p.1241-1252. 10.1093/gji/ggv216

Puzyrev, V., 2019. Deep learning electromagnetic inversion with convolutional neural networks, Geophysical Journal International, 218(2), p.817-832. 10.1093/gji/ggz204

Rajaraman, A. and Ullman, J.D., 2011. Mining of massive datasets, Cambridge University Press, 327p. 10.1017/CBO9781139058452

Rao, D.A., Babu, H.V., and Sinha, G.D.J., 1982. A Fourier transform method for the interpretation of self-potential anomalies due to two-dimensional inclined sheets of finite depth extent, Pure and Applied Geophysics, 120(2), p.365-374. 10.1007/BF00877042

Rao, S.J., Rao, P.R., and Murthy, I.R., 1993. Automatic inversion of self-potential anomalies of sheet-like bodies, Computers & Geosciences, 19(1), p.61-73. 10.1016/0098-3004(93)90043-5

Revil, A., Florsch, N., and Camerlynck, C., 2014. Spectral induced polarization porosimetry, Geophysical Journal International, 198(2), p.1016-1033. 10.1093/gji/ggu180

Ronneberger, O., Fischer, P., and Brox, T., 2015. October. U-net: Convolutional networks for biomedical image segmentation, In International Conference on Medical image computing and computer-assisted intervention, Springer, Cham, p.234-241. 10.1007/978-3-319-24574-4_28

Rumelhart, D.E., Hinton, G.E., and Williams, R.J., 1986. Learning representations by back-propagating errors, Nature, 323(6088), p.533-536. 10.1038/323533a0

Sasaki, Y., 1989. Two-dimensional joint inversion of magnetotelluric and dipole-dipole resistivity data, Geophysics, 54(2), p.254-262. 10.1190/1.1442649

Shavlik, J.W., Dietterich, T., and Dietterich, T.G., 1990. Readings in machine learning, Morgan Kaufmann, 853p.

Shima, H., 1992. 2-D and 3-D resistivity image reconstruction using crosshole data, Geophysics, 57(10), p.1270-1281. 10.1190/1.1443195

Shin, S., Li, Y., Park, S., and Cho, S.J., 2018. Supervised machine learning for lithology estimation using spectral induced polarization data, In SEG Technical Program Expanded Abstracts 2018, Society of Exploration Geophysicists, p.1898-1902. 10.1190/segam2018-2998355.1

Shin, S.W., Park, S., and Shin, D.B., 2016. Spectral-induced polarization characterization of rocks from the Handuk iron mine, South Korea, Environmental Earth Sciences, 75(9), p.1-16. 10.1007/s12665-016-5618-1

Tábořík, P., Lenart, J., Blecha, V., Vilhelm, J., and Turský, O., 2017. Geophysical anatomy of counter-slope scarps in sedimentary flysch rocks (Outer Western Carpathians), Geomorphology, 276, p.59-70. 10.1016/j.geomorph.2016.09.038

Tarantola, A., 2005. Inverse problem theory and methods for model parameter estimation, Society for Industrial and Applied Mathematics. 10.1137/1.9780898717921

Ulyanov, D., Vedaldi, A., and Lempitsky, V., 2018. Deep image prior, In Proceedings of the IEEE conference on computer vision and pattern recognition, p.9446-9454.

Vinciguerra, A., Aleardi, M., Hojat, A., and Stucchi, E., 2020. Discrete cosines transform for parameter space reduction in Bayesian ERT inversion, In NSG2020 26th European Meeting of Environmental and Engineering Geophysics, European Association of Geoscientists & Engineers, 1, p.1-5. 10.3997/2214-4609.202020047

Vu, M.T. and Jardani, A., 2021. Convolutional neural networks with SegNet architecture applied to three-dimensional tomography of subsurface electrical resistivity: CNN-3D-ERT, Geophysical Journal International, 225(2), p.1319-1331. 10.1093/gji/ggab024

Ward, W.O., Wilkinson, P.B., Chambers, J.E., Oxby, L.S., and Bai, L., 2014. Distribution-based fuzzy clustering of electrical resistivity tomography images for interface detection, Geophysical Journal International, 197(1), p.310-321. 10.1093/gji/ggu006

Watlet, A., Kaufmann, O., Triantafyllou, A., Poulain, A., Chambers, J.E., Meldrum, P.I., Wilkinson, P.B., Hallet, V., Quinif, Y., Ruymbeke, M.V., and Van Camp, M., 2018. Imaging groundwater infiltration dynamics in the karst vadose zone with long-term ERT monitoring, Hydrology and Earth System Sciences, 22(2), p.1563-1592. 10.5194/hess-22-1563-2018

Wu, S., Huang, Q., and Zhao, L., 2021. Convolutional neural network inversion of airborne transient electromagnetic data, Geophysical Prospecting, 69(8-9), p.1761-1772. 10.1111/1365-2478.13136

Wu, S., Huang, Q., and Zhao, L., 2022. Instantaneous inversion of airborne electromagnetic data based on deep learning, Geophysical Research Letters, e2021GL097165. 10.1029/2021GL097165

Wu, Y., Lu, C., Du, X., and Yu, X., 2014. A denoising method based on principal component analysis for airborne transient electromagnetic data, Computing Techniques for Geophysical and Geochemical Exploration, 36(2), p.170-176.

Wu, Y., Schuster, M., Chen, Z., Le, Q.V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, Xiaobing., Kaiser, L., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J., 2016. Google's neural machine translation system: Bridging the gap between human and machine translation, arXiv preprint arXiv:1609.08144.

Xiang, J., Jones, N.B., Cheng, D., and Schlindwein, F.S., 2001. Direct inversion of the apparent complex-resistivity spectrum, Geophysics, 66(5), 1399-1404. 10.1190/1.1487085

Xu, H.L. and Wu, X.P., 2006. 2‐D Resistivity Inversion Using the Neural Network Method, Chinese Journal of Geophysics, 49(2), p.507-514. 10.1002/cjg2.861

Xu, Z., Xin, H., Li, J., and Lu, F., 2019. Electrical characteristics analysis of Mesozoic and Cenozoic evolution mechanisms of basins in the Dachaidan area, Qaidam Basin, Acta Geol. Sin., 93, p.3282-3298.

Yamada, Y., Iwamura, M., and Kise, K., 2018. Shakedrop regularization, arXiv preprint arXiv:1802.02375.

Yang, Y., Ni, W., Sun, Q., Wen, H., and Teng, Z., 2013. Improved Cole parameter extraction based on the least absolute deviation method. Physiological Measurement, 34(10), p.1239. 10.1088/0967-3334/34/10/123924021745

100

Yu, S. and Ma, J., 2021. Deep learning for geophysics: Current and future trends, Reviews of Geophysics, 59(3), p.e2021RG000742. 10.1029/2021RG000742

101

Zhang, K., Zuo, W., and Zhang, L., 2018. FFDNet: Toward a fast and flexible solution for CNN-based image denoising, IEEE Transactions on Image Processing, 27(9), p.4608-4622. 10.1109/TIP.2018.283989129993717

102

Zhang, K., Zuo, W., Chen, Y., Meng, D., and Zhang, L., 2017a. Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising, IEEE transactions on image processing, 26(7), p.3142-3155. 10.1109/TIP.2017.266220628166495

103

Zhang, K., Zuo, W., Gu, S., and Zhang, L., 2017b. Learning deep CNN denoiser prior for image restoration, In Proceedings of the IEEE conference on computer vision and pattern recognition, p.3929-3938. 10.1109/CVPR.2017.300PMC5717859

104

Zhdanov, M.S. and Keller, G.V., 1994. The geoelectrical methods in geophysical exploration, Methods in geochemistry and geophysics, 31, p.1-9.

Journal of the Korean Society of Mineral and Energy Resources Engineers ISSN:2288-0291(Print) 2288-2790(Online) 한국자원공학회지

Preview

Research Trends and Case Studies of Deep Learning Applications in Geo-electric and Electromagnetic Surveys

ABSTRACT

MAIN

Fig. 1.

Overview of an artificial neural network (ANN). Each circular node represents an artificial neuron, and each arrow represents an input from the output of one neuron to another (Modified from Barfod et al., 2021).

Fig. 2.

Overall architecture of the convolutional neural network (CNN), including an input layer, multiple alternating convolution, and max-pooling layers, one fully connected layer, and one classification layer (Alom et al., 2019).

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

Fig. 3.

VES curve (thin line) 1D inversion results obtained from conventional (dashed line) and NN methods (thick line) (El-Qady and Ushijima, 2001).

Fig. 4.

(a) Inversion results using the ResNet algorithm (b) Desired output from the validation set (c) Differences between ResNet algorithms and desired output results for comparison (Aleardi et al., 2022).

Fig. 5.

FCM clustering results from the field based on both manual and automatic bandwidth selection of the KDE (Ward et al., 2014).

Fig. 6.

Fig. 7.

Fig. 8.

Acknowledgements

References