기계학습에 의한 Al-Si 주조 합금 미세조직 이미지 생성

Generating the Microstructure of Al-Si Cast Alloys Using Machine Learning

Article information

Korean J. Met. Mater.. 2021;59(11):838-847
Publication date (electronic) : 2021 October 28
doi : https://doi.org/10.3365/KJMM.2021.59.11.838
1Department of Advanced Materials Engineering, Chosun University, 309 Pilmun-daero, Dong-gu, Gwangju 61452, Korea
2Digital Manufacturing Process Group, Korea Institute of Industrial Technology, 113-58, Seohaean-ro, Siheung-si, Gyeonggi-do 15014, Korea
황인규1, 이현지1, 정상준1, 조인성2, 김희수1,
1조선대학교 첨단소재공학과
2한국생산기술연구원
*Corresponding Author: Hee-Soo Kim Tel: +82-62-230-7194, E-mail: heesoo@chosun.ac.kr

- 황인규 · 이현지: 석사과정, 정상준: 박사과정, 조인성: 수석연구원, 김회수: 부교수

Received 2021 July 22; Accepted 2021 August 24.

Trans Abstract

In this study, we constructed a deep convolutional generative adversarial network (DCGAN) to generate the microstructural images that imitate the real microstructures of binary Al-Si cast alloys. We prepared four combinations of alloys, Al-6wt%Si, Al-9wt%Si, Al-12wt%Si and Al-15wt%Si for machine learning. DCGAN is composed of a generator and a discriminator. The discriminator has a typical convolutional neural network (CNN), and the generator has an inverse shaped CNN. The fake images generated using DCGAN were similar to real microstructural images. However, they showed some strange morphology, including dendrites without directionality, and deformed Si crystals. Verification with Inception V3 revealed that the fake images generated using DCGAN were well classified into the target categories. Even the visually imperfect images in the initial training iterations showed high similarity to the target. It seems that the imperfect images had enough microstructural characteristics to satisfy the classification, even though human cannot recognize the images. Cross validation was carried out using real, fake and other test images. When the training dataset had the fake images only, the real and test images showed high similarities to the target categories. When the training dataset contained both the real and fake images, the similarity at the target categories were high enough to meet the right answers. We concluded that the DCGAN developed for microstructural images in this study is highly useful for data augmentation for rare microstructures.

1. 서 론

광학현미경 관찰을 통하여 얻어지는 재료의 미세조직 이미지는 재료공학 연구에서 가장 기초적인 과정 중의 하나이다. 재료의 미세조직은 재료를 구성하는 성분과 이를 제조하는 공정에 의하여 결정된다. 또한 물리적 기계적 특성을 포함하는 재료의 최종적인 성질을 파악하고 그 원리를 고찰하기 위하여 미세조직 관찰이 필요하다 [1].

최근 들어 기계학습(machine learning)을 이용한 재료의 미세조직에 대한 정성적 분석에 관한 연구가 활발히 진행되고 있다. 미세조직 분석에 직접적으로 관련된 기계학습은 이미지 인식 및 분류에 탁월한 성능을 나타낸 합성곱 신경망(convolutional neural network, CNN)[2]을 주로 사용한다. CNN은 이미 재료공학이 아닌 여러 분야에 적용되어 왔으며 가장 기초적으로는 손글씨 분류 [3]부터 최근에는 생물학 [4,5], 의학 분야 [6] 등에서 큰 성과를 나타내었다. 현재 일반적인 이미지 분류에 많이 사용되는 구글넷 (GoogLeNet) [7,8]과 레스넷(ResNet) [9], 인셉션(Inception) [10] 등의 알고리즘은 모두 이 CNN을 기초로 개발되었다.

본 연구진은 이전 연구에서 인셉션 V3(Inception V3) 모델을 이용하여 Al-Si 이원계 합금의 주조시편을 Si 함량에 따라 광학 이미지를 분류하는 연구를 진행하였다 [11]. 육안으로 구별이 쉽지 않은 유사한 Si 함량의 시편을 기계학습으로 손쉽게 분류하는 결과를 얻어 기계학습에 의한 미세조직 이미지 분석의 가능성을 타진하였다. 인셉션 V3 모델은 그 구조가 복잡하여 인공신경망이 어떠한 근거를 통하여 미세조직 이미지를 분류하는지 알 수 없었다. 후속 연구로서 간단한 CNN 모델을 수립하고 신경망의 중간층에서 이미지를 시각화하여 인경신경망이 어떤 근거에 의하여 두 가지 미세조직 이미지를 구분하는지에 대하여 고찰하였다 [12]. 그 결과 CNN에서는 이미지 정보가 합성곱과 풀링 계층을 통과할 때 연산의 특성에 따라 이미지가 축소되었으며, 이때 이미지는 초기 이미지의 단순 축소가 아닌, 미세조직에서 가장 특징적인 부분을 추출하여 축소되었다. 이러한 이미지를 근거로 CNN은 주철의 미세조직 중 주로 각 흑연상의 형태에 대한 특징을 추출하여 분류의 기준으로 삼는 것으로 판단되었다.

미세조직 이미지의 분석은 기존의 화상 분석과 전자현미경 등에 의한 정량분석과 함께 기계학습을 이용한 정성적인 분석이 가능하다고 판단된다. 한편 재료 개발 중 특정 물성의 조절을 위하여 요구되는 미세조직을 예측하는 작업도 필요하다. 이는 원하는 미세조직을 인위적으로 생성하는 과정이라 할 수 있다. 상장모델(phase-field model) [13,14] 등의 전산모사로써 재료의 상변화와 용질 확산 등을 포함한 재료 미세조직의 생성이 가능하다. 그러나 현재까지의 기술로는 복잡한 합금계의 묘사가 용이하지 않으며, 매우 한정적이고 이상적인 미세조직의 생성만이 가능하다고 할 수 있다.

만약, 현실적인 미세조직 이미지의 데이터베이스를 기반으로 새로운 가상의 미세조직 이미지를 생성할 수 있다면 재료설계에 큰 도움이 될 것이다. 예를 들어 어떤 합금계에서 화학조성과 공정, 특성, 그리고 미세조직에 대한 데이터베이스가 있다면, 특정한 성질을 갖도록 미세조직 이미지를 생성한 후 그러한 미세조직을 제조할 수 있는 공정을 설계할 수 있는 상황을 뜻한다. 최근 생성적 적대 신경망(generative adversarial network, GAN) [15]이라는 기계학습 기술이 발전하고 있으며, 이는 기존의 이미지 데이터를 기반으로 새로운 ‘가짜’ 이미지를 생성하여 진짜 이미지와 구별할 수 없는 동일한 종류의 이미지를 생성하는 기술이다. GAN 을 이용해 데이터 부족과 데이터 불균형 문제를 해결하는 방안도 제시되고 있다. 이 GAN 기술을 적절하게 이용한다면, 미세조직 이미지의 생성과 이에 따른 재료 설계에 큰 도움이 되리라 판단된다.

이미 GAN 기술은 재료공학 분야에 일부 적용되고 있다. Lee 등[16]은 강(鋼)의 미세조직을 이용하여 DCGAN과 Cycle-GAN, Pix2Pix 등의 알고리즘을 통해 이미지를 생성하고 이를 실제 이미지와 정량적으로 비교하여 높은 품질의 가상 이미지를 얻었다. Chun 등 [17]은 혼합 에너지 재료의 미세조직을 GAN으로 생성시키는 연구를 수행하고 새로운 미세조직 설계 방법을 제시하였다. Hsu 등 [18]은 연료전지 전극 재료의 GAN을 이용하여 3D 이미지를 생성하였고, 유한요소해석을 통해 실제 전극재료의 3D 구조와 유사한 특성을 얻어 GAN의 실효성을 확인한 바 있다.

본 연구에서는 심층 합성곱 생성적 적대 신경망(deep convolutional generative adversarial network, DCGAN) [19]을 구축하여 Al-Si 주조 합금의 이미지 생성을 시도하였다. DCGAN은 기존 GAN의 불안한 네트워크의 구조를 개선한 모델로 고해상도 품질의 데이터를 출력할 수 있게 발전된 인공신경망 구조이다. 본 연구에서 사용된 Al-Si 합금은 Si = 6, 9, 12, 15 wt%를 가지며 각각 시편의 이미지로부터 새로운 이미지를 생성하고 그 정확도를 검증하였다. 이를 통하여 DCGAN을 데이터 증대(data augmentation)에 이용할 수 있는지에 대한 고찰을 진행하였다. 이전 연구 [12]에서 CNN을 이용하여 기계학습이 미세조직 이미지를 분류할 때 컴퓨터가 미세조직의 특징을 어떻게 이용하는지에 대하여 고찰하였다면, 본 연구에서는 DCGAN을 이용하여 컴퓨터가 어떠한 방식으로 미세조직 이미지를 이해하고 있는지 엿볼 수 있을 것으로 기대한다.

2. 인공신경망

2.1 DCGAN

DCGAN [19]은 그림 1(a)에서 보는 바와 같이 생성자(generator)와 판별자(discriminator)가 연결된다. 생성자에서는 훈련 데이터에 포함되지 않는 가상의 모조 이미지(fake images)를 만든다. 이 과정을 통하여 만든 이미지는 판별자에서 실제 이미지(real images)로 구성된 훈련 데이터와 비교하여 모조 이미지가 실제 이미지와 부합 여부를 가리게 된다.

Fig. 1.

Schematic architecture of (a) DCGAN with its substructures, (b) discriminator, and (c) generator, which were used in this study.

편의상 생성자보다 판별자를 먼저 설명한다. 그림 1(b)에 나타낸 바와 같이 생성자에서 생성된 모조 이미지는 가로 × 세로 × 채널의 크기는 512 × 512 × 3이다. 가로와 세로의 크기는 픽셀의 수를 나타내며 채널의 수는 RGB를 대표한다. 이 모조 이미지는 실제 이미지로 구성된 훈련 데이터와 함께 전형적인 CNN 과정을 거친다. 일반적인 현미경 사진은 흑백으로 보이므로 RGB의 각 수치는 일정하다고 판단할 수 있다. RGB를 정보를 흑백으로 변환하면, 조금 더 간결한 DCGAN을 구성할 수 있을 것이라 예상된다. 그러나 추후 확장성을 위하여 RGB 정보를 가진 이미지를 처리할 수 있도록 신경망을 구성하였다.

각 중간층은 합성곱(convolution)으로 이루어져 있다. 합성곱은 작은 크기의 이미지인 커널(kernel)로 층간이 연결된다. 이미지 정보가 각 중간층을 거칠 때마다 이미지의 크기는 절반으로 감소하고, 채널의 수는 두 배씩 증가하도록 설계하였다. 합성곱에서 입력된 이미지(WI × HI)로부터 커널(WK × HK)를 이용하여 축소된 이미지의 크기(WO × HO)는 패딩(P)과 스트라이드(S)의 영향을 받으며, 다음과 같이 계산할 수 있다 [20].

(1) WO=W1+2P-WF2+1, HO=H1+2P-HFS+1

또한 계층과 계층 사이에 배치 정규화(batch normalization) 과정이 포함된다. 최종 중간층을 지났을 때는 각 픽셀의 정보가 평탄화(flattening)되어 출력층으로 연결된다. 출력값은 모조 이미지가 훈련 데이터셋에 부합하면 1을 출력하고, 부합하지 않으면 0을 출력한다. 활성화함수는 중간층에서 leaky ReLU 함수를 사용하였으며 최종 출력층에서는 시그모이드(sigmoid) 함수를 사용하였다.

생성자의 구조는 그림 1(c)에 나타내었다. 생성자의 구조는 판별자에서 사용한 CNN과는 반대의 구조를 갖는다. 난수의 집합인 Z로부터 모조 데이터를 생성하게 되는데, 이 때 Z의 분포는 균일 분포(uniform distribution)을 갖도록 설정하였다. 이 데이터는 4 × 4 × 1024의 중간층으로 연결되고, 이 이후로는 역합성곱(transposed convolution)과 역시 작은 크기의 커널을 이용하여 이미지의 크기를 가로세로 두 배씩 업샘플링(upsampling)하고 채널의 수는 절반씩 감소하도록 설계하였다. 이때 이미지의 크기는 Eq. (1)을 역으로 유도하면 계산할 수 있다.

(2) WO=(W1-1)S+WK-P, HO=(H1-1)S+HK-P

역시 생성자에서도 계층과 계층 사이에 배치 정규화(batch normalization) 과정이 포함된다. 활성화함수는 중간층에서 leaky ReLU 함수를 사용하였다. 최종 단계에서의 활성화함수는 tanh를 사용하였다. 생성자와 판별자의 자세한 구조는 Table 1에 나타내었다.

Model of DCGAN used in this study for microstructural images.

DCGAN 모델의 최종 목적은 생성자 모델이 실제 훈련 데이터가 가지는 분포와 근사한 모조 데이터를 출력하는 것이다. 대부분의 경우 학습 초기에 생성자 모델이 출력한 모조 데이터는 거의 잡음(noise) 형태에 가까우며 이는 훈련 데이터의 분포를 학습하지 못했음을 의미한다. 그러나 학습시간이 경과함에 따라 생성자 모델은 훈련 데이터와 비슷한 분포를 가진 모조 데이터를 생성할 수 있고 이를 통해 DCGAN 모델의 학습 능력이 향상되어가고 있음을 알 수 있다.

학습과정은 생성자와 판별자의 커널의 수치를 최적화하는 과정으로 이루어져 있다. 학습은 에포크(epoch) 단위로 진행되는데, 1 에포크는 준비된 입력데이터 전체를 모두 사용하여 한 번 훈련된 상태를 뜻한다. 손실(loss)로는 categorical cross-entropy를 사용하였으며, 최적화 방법으로는 Adam을 사용하였다. 지금까지 설명한 CNN은 파이썬(python) [21]과 텐서플로우(Tensorflow) [22]를 이용하여 구현하였다.

2.2 미세조직 이미지의 준비

Al-Si계 합금은 주조용 사용되는 Al 합금 중 90% 이상을 차지하는 가장 일반적인 Al 합금계이다 [23,24]. 이원계 Al-Si 합금은 전형적인 공정형(eutectic)으로 응고하며, 공정조성은 12.5 wt% Si이며, 공정온도는 577 °C이다. Al이 주성분인 α상은 Si의 최대고용률이 1.65 wt%인 반면, Si상은 Al을 전혀 고용하지 않는다. 본 연구에서 사용한 Al-Si 합금은 총 4 종류로, Si의 함량이 각각 6, 9, 12, 15 wt%이다. Al-6wt%Si과 Al-9wt%Si은 전형적인 아공정 (hypoeutectic) 조성이며, Al-12wt%Si은 거의 공정조성에 가까운 합금이다. Al-15wt%Si은 과공정합금이기 때문에 다른 합금과 달리 Si 초정상이 다수 관찰될 것이라 예상된다.

Al괴와 Al-25wt%Si 모합금을 목표 Si 조성에 맞추어 2 kg으로 적량하여 800 °C에서 용해한 후, 온도를 750 °C 낮춘 후 금형에 중력주조하였다. 사용된 금형은 내부의 용적이 대략 15 cm × 7 cm × 7 cm의 직육면체 형태이며, 주조 직전에 200 °C로 예열하였다. 응고가 완료된 시편은 주괴 중심부의 수축공과 표면의 급속냉각부위를 피하고자, 중간 높이 부분의 중심과 표면 사이 중간 부분을 시편으로 채취하였다.

채취된 시편은 조연마와 미세연마를 거쳐 켈러 시약(Keller’s reagent: 95% H2O, 2.5% HNO3, 1.5% HCl, 1.0% HF)로 화학부식하였다. 광학현미경으로 미세조직을 관찰할 때 배율은 × 100이었다. 촬영된 이미지는 크롭(crop)을 통하여 512 × 512 픽셀로 고정하였다. 수집된 미세조직 이미지는 모두 RGB 채널을 갖는 3차원 이미지이며 명암에 대한 전처리는 따로 진행하지 않았다. 또한 미세조직 촬영시 축척표시(scale bar)는 미세조직에 대한 기계학습을 방해할 가능성이 있으므로, 미세조직 이미지에서 축척표시를 제외하였다. 이와 같은 방법으로 각각의 조성을 갖는 합금 시편으로부터 각 100 장 이상의 미세조직 이미지를 확보하였고, 별다른 데이터 증강 기법을 사용하지는 않았다.

3. 결과 및 고찰

3.1 Al-Si 합금의 실제 미세조직 이미지

그림 2는 DCGAN 학습을 위하여 사용된 훈련 데이터 중 Al-Si 합금의 대표적인 미세조직 이미지를 나타낸 것이다. Al-6wt%Si과 Al-9wt%Si는 아공정 합금이기 때문에 그림 2(a)그림 2(b)에 각각 나타낸 바와 같이 Al-α상의 수지상정이 발달하여 있다. 수지상정 사이에는 Al-Si 공정이 존재하며 이 공정상들은 미세조직 이미지의 배율상 자세하게 나타나 있지는 않고 대략 어두운 색상으로 표시되어 있다. 특히 Al-9wt%Si은 Al-6wt%Si에 비하여 공정상의 비율이 크게 증가하였고, 수지상정의 방향성이 잘 나타나 있다. 그림 2(c)의 Al-12wt%Si의 경우에는 Al-9wt%Si에 비하여 공정상의 비율이 증가하였다. Al-12wt%Si는 공정조성(12.5wt%Si)에 근접하기 때문에 Al-α상의 수지상정 없이 공정상만 존재할 것이라고 예상할 수 있지만, 수지상정이 크게 발달함을 관찰하였다. 이 그림에서 나타낸 아공정 합금의 미세조직 이미지는 3차원으로 성장하는 수지상정의 임의의 단면을 나타내는 것이기 때문에 제2차 수지가 제1차 수지와 분리되어 나타날 수 있다는 사실을 염두해야 한다. 이러한 특징은 Al-9wt%Si와 Al-12wt%Si의 시편에서 흔히 발견할 수 있었다. Al-15wt%Si은 과공정 합금이므로 다각형 형태의 Si 초정상이 관찰되었다. 이 경우에도 공정상의 비율은 큰 편이며 다각형의 Si 초정상뿐만 아니라 거대한 Si 침상도 관찰되었으며, Al-α상의 수지상정의 일부가 발견되었다. 이와 같이 공정조성 부근과 과공정에서 Al-α상이 발견되는 것은 과냉과 이에 따른 왜곡된 coupled zone에 기인한다 [25,26].

Fig. 2.

Sample images of binary Al-Si cast alloys with (a) 6 wt%Si, (b) 9 wt%Si, (c) 12 wt%Si, and (d) 15 wt%Si, used for dataset of machine learning in this study. The specimens were etched with Keller's reagent for microscopy. The sizes of each images were 512 × 512 pixels.

3.2 Al-Si 합금의 가상 미세조직 이미지

앞 절에서 설명한 Al-Si 합금의 실제 미세조직 이미지를 각각 70장씩 훈련 데이터로 사용하고 DCGAN으로 1000 에포크까지 학습했을 때 생성된 가상 이미지를 그림 3에 나타내었다. 그림 2의 실제 미세조직 이미지와 비교해보면, 대략적으로 상호간의 유사한 이미지가 생성된 것을 알 수 있다. Si의 함량에 따른 공정상의 분율이 유사하고, 수지상정의 제2차 수지의 조각들이 분포해 있는 양상도 비슷하다. 그러나 Al-9wt%Si (그림 3(b))와 Al-12wt%Si (그림 3(c))에서 보면 제2차 수지의 조각들은 그림 2에 나타난 실제 미세조직 이미지와는 달리 방향성이 상실되어 있다. 그림 3(d)의 Al-15wt%Si의 경우에는 Si 초정상이 실제 초정상과 동일한 색상을 가지고 있으며 다각형 형태를 띠고 있긴 하나 실제 미세조직과는 달리 변의 수가 증가하였거나, 변의 모습이 직선적이지 않고 곡선적인 형태로 나타났다. 또한 거대한 Si 침상은 직선성이 부족하여 구부러진 형태의 침상으로 표현되었다. 지금까지는 육안으로 관찰한 결과이며, 생성 이미지의 상태가 완벽하여 실제 이미지와 구별이 되지 않는다고 결론짓기는 어렵다. 그러나 대략적으로 실제 이미지가 축적된 훈련 데이터와 유사한 이미지를 생성한다고 볼 수 있다.

Fig. 3.

Fake microstructural images of binary Al-Si cast alloys with (a) 6 wt%Si, (b) 9 wt%Si, (c) 12 wt%Si, and (d) 15 wt%Si, generated with DCGAN in this study. The sizes of each images were 512 × 512 pixels.

3.3 가상 미세조직 이미지의 분석

DCGAN의 판별자에서는 생성된 모조 데이터가 훈련 데이터에 부합하면 1, 부합하지 않으면 0이라는 답을 제시한다. 본연구에서는 이와 별도로 생성 미세조직 이미지의 품질을 평가하기 위하여 추가적인 검증을 실시하였다. 본 연구진의 이전 연구 [11]에서 사용하였던 인셉션V3에 Al-6wt%Si과 Al-9wt%Si, Al-12wt%Si, Al-15wt%Si의 실제 이미지를 각각 70장씩 훈련 데이터로 입력하여 1000 에포크 동안 학습한 후 본 연구에서 생성된 모조 미세조직 이미지를 입력하여 어떻게 분류하는지 알아보았다. 여기에서 인셉션V3의 결과는 유사도(similarity)로 표시하였는데, 이 유사도는 출력층의 활성화함수인 소프트맥스(softmax) 함수의 결과이다. 분류된 훈련 데이터의 유사도는 백분율로 표시되며, 각 유사도의 합은 100%이다. 즉, 이미지의 비교는 절대적인 수치가 아닌 상대적인 수치라는 것을 유념해야 한다. 소프트맥스 함수를 사용한 이미지 분류에서는 일반적으로 가장 높은 유사도를 나타낸 훈련 데이터 클래스를 정답으로 간주한다. 이와 같이 인셉션V3과 유사도 결과를 이용하여 생성 이미지에 대한 추가적인 검증을 수행하면, 생성 이미지의 품질에 대한 조금 더 세밀한 분석이 가능하리라 판단된다.

DCGAN으로 생성된 4개의 Al-Si 합금의 모조 이미지를 각각 30장씩 준비한 후 인셉션V3에 입력하여 얻은 유사도 결과는 그림 4에 나타내었다. Si 함량별로 목표조성(target composition)에서 유사도의 피크가 관찰되었다. 피크에서의 유사도는 대부분 75% 이상으로 모조 이미지가 훈련 데이터에 잘 부합한다는 것을 알 수 있다. 만약 유사도가 아닌 분류로서 인셉션V3를 실행했다면 100% 정확한 목표조성에 도달한다는 결론을 얻을 수 있다. 위에 언급한 바와 같이 그림 3(b)그림 3(c)는 각각 Al-9wt%Si과 Al-12wt%Si의 모조 이미지였는데, 수지상정의 방향성이 적절하게 표현되지 못한 것으로 나타났다. 또한 그림 3(d)의 Al-15wt%Si 합금의 모조 이미지에서는 Si 초정상도 실제 이미지와는 다소 거리가 있는 모습을 나타내었다. 이와 같은 육안상의 차이에도 불구하고 수치상으로 높은 유사도를 나타낸 것은, DCGAN에서는 장거리 간의 사물의 관계를 파악하는 것이 부족하였다고 판단된다.

Fig. 4.

Similarity distribution examined using Inception V3 for (a) Al-6wt%Si, (b) Al-9wt%Si, (c) Al-12wt%Si, and (d) Al-15wt%Si alloys. Total 30 images per composition generated using DCGAN were used for the tests. The each peaks of Si content existed at the corresponding target compositions, which means that the fake images were similar to the real microstructures.

그림 5(a)는 학습 횟수에 따른 DCGAN 판별자 손실(discriminator loss)를 나타낸 것이다. 이때 사용된 데이터셋은 Al-9wt%Si 합금의 미세조직 이미지였다. 학습초기에는 높은 손실을 보이며 학습이 진행됨에 따라 급격하게 감소하다가 대략 300 에포크 이후에서는 안정된 낮은 수치를 나타내고 있다. 학습 중의 이미지를 출력하면, 300 에 포크가 도달하기 전에는 육안으로 보았을 때 훈련 데이터와 전혀 유사하지 않는 이미지가 생성됨을 알 수 있다. 400 에포크 부근에서도 이미지가 약간 불안정하게 보이긴 하지만 손실은 이미 최소값에 도달한 것으로 판단되며, 1000 에포크에서도 400 에포크의 경우와 유사한 이미지를 나타냈다. 손실로만 판단하기에는 400 에포크 정도의 학습이 적당한 것으로 보이지만, 육안 관찰로는 에포크가 증가할수록 이미지의 품질이 향상된다고 판단된다. 이는 손실만으로는 기계학습 정확도의 절대적인 기준이 될 수 없다는 것을 나타낸다. 400 에포크까지는 급격하게 손실이 감소하지만, 이 이후에는 미세하게나마 추가적으로 손실이 감소한다고 판단된다. 이에 따라 최종 결과는 1000 에포크까지 계산하였다.

Fig. 5.

(a) Change of discriminator loss with training step in case of the Al-9wt%Si alloy, and (b) change of similarity at peak with training step. Total 30 images were generated with DCGAN and examined Inception V3 at each training steps. Note that the images generated before 300 epochs in (a) did not look like real images when observed with naked eyes. However the corresponding similarities at peak in (b) is greater than 50%. It means that the machine recognized the above bad images as realistic ones.

한편 이러한 중간단계에서의 이미지를 인셉션V3로 검증한 결과는 그림 5(b)에 나타내었다. 육안으로 판별하기에 실제 이미지에 가깝지 않은 300 에포크 이하에서 발생한 모조 이미지에서도 피크에서의 최대 유사도가 50% 이상으로 나타났다. 단순분류에서는 정확한 분류 결과로 나타난다는 의미이다. 학습횟수가 증가할수록 최대 유사도도 다소 증가하지만, 학습 초기의 유사도와 비교해보면 큰 차이를 나타내지는 않았다. 이전 연구에서, 네크워크 구조가 인셉션V3와는 다소 차이가 있는 기본적인 CNN에서 미세조직 이미지를 처리할 때 합성곱 계층을 지날 때마다 이미지의 크기가 축소하지만 제2상 등의 특징적인 부분을 강조하는 현상이 나타나는 것을 발견하였다 [12]. 이는 300 에 포크 이하에서 생성된 모조 이미지가 육안 관찰 결과로는 실제 이미지와의 유사성이 부족하지만, 기계(컴퓨터)가 판별하기에는 목표 미세조직의 특징을 충분히 지니고 있다는 것을 추론할 수 있다.

3.4 교차 검증

앞절에서 설명한 것과 같이 기계학습시 모조 이미지가 높은 최대 유사도를 나타내었다면 GAN의 큰 목적중의 하나인 데이터 증대의 측면에서 DCGAN이 상당히 효과적일 수 있다는 것을 짐작할 수 있다.

DCGAN에서 훈련 데이터로 사용하였던 실제 이미지를 조성별로 각 70개씩 준비하고 이를 바탕으로 모조 데이터 30개를 인셉션V3로 분류하였다. 또한 기존 훈련 데이터에는 포함되지 않고, 문헌검색 등을 통해 얻은 미세조직 이미지 30개를 검증 데이터(test data)로 칭하고, 이 데이터 역시 같은 방식으로 분류하였다. 그 결과를 그림 6에 나타내었는데, 모조 데이터와 검증 데이터에 대하여 피크에서의 최대 유사도는 조성별로 차이는 있으나 대부분 75% 이상의 수치를 나타내었다. 모조 데이터는 이미 DCGAN의 판별자로서 부합 여부를 판정하긴 했으나, 이 정확도를 다시 한번 확인하였다.

Fig. 6.

Similarities at peak of 30 fake images generated using DCGAN, and 30 test images not included in training data, when DCGAN used the 70 real images for reference.

DCGAN으로 생성한 조성별 각 70개의 모조 데이터를 훈련 데이터로 지정한 후, 원래의 실제 데이터와 검증 데이터 조성별 각 30개를 인셉션V3로 분류하였다. 이때 실제 데이터는 DCGAN의 훈련에 사용하지 않은 데이터였다. 그림 7은 분류 결과를 나타낸 것이다. 실제 이미지의 분류 결과는 대부분 90% 이상으로 높게 나타났다. 검증 데이터의 최대 유사도는 실제 이미지의 경우보다 다소 낮게 나타나 대략 75~85%의 유사도를 보였다. 이것은 검증 데이터 분류에 충분한 유사도라고 판단된다. 실제 데이터의 유사도가 더 높은 이유는, DCGAN으로 이미지를 생성할 때 바탕이 되었던 훈련 데이터이기 때문이라고 판단된다.

Fig. 7.

Similarities at peak of 30 real images which were used for training, and 30 test images, when DCGAN used the 70 fake images for reference.

실제 미세조직 이미지와 모조 이미지를 조성별로 각 70장씩 훈련 데이터로 준비한 후 인셉션V3로 1000 에포크까지 기계학습한 후 실제 데이터와 모조 데이터, 검증 데이터를 분류한 결과를 그림 8에 나타내었다. 이때 분류한 실제 데이터와 모조 데이터는 훈련 데이터에 포함되지 않았다. 실제 데이터는 모든 Si 함량의 경우에서 95%의 높은 유사도를 나타내었다. 모조 데이터는 Si = 12 wt%인 경우 83% 정도의 유사도를 보였으나, 다른 Si 함량에서는 실제 데이터만큼 높은 유사도를 보였다. 검증 데이터는 실제 데이터나 모조 데이터보다는 최대 유사도가 낮았으나 여전히 만족스러운 유사도를 보였다.

Fig. 8.

Similarities at peak of 30 real images, 30 fake images and 30 test images, when DCGAN used the 70 real images and 70 fake images for reference.

DCGAN으로 생성된 모조 이미지가 데이터 증대 역할이 적절하다면 그림 8에서 검증 데이터의 유사도가 더욱 증가하여야 하지만, 그러한 효과는 적절하게 나타나지 않았다. 이것은 본 연구에서 비교적 구별이 명확한 네 종류의 시편의 이미지를 훈련 데이터로 정했기 때문이라고 판단된다. 만약 시편의 종류가 더 많아지고, 시편 사이의 특징의 차이가 미세하다면 데이터 증대 효과에 대한 조금 더 효과적인 검증이 가능할 것이라고 판단된다.

그림 6~8에서 검증 데이터의 조성에 따른 최대 유사도 변화 경향이 비슷했다. 이는 실제 데이터와 모조 데이터의 품질이 유사하다는 또 하나의 증거라고 할 수 있다. 지금까지의 교차검증 결과로 판단할 때, DCGAN으로 생성된 모조 데이터는 기계학습에서 부족한 훈련 데이터를 증대할 때 효과적임을 알 수 있다.

4. 결 론

본연구에서는 DCGAN 알고리즘을 이용하여 주조용 Al-Si 합금의 미세조직 이미지의 생성을 시도하였다. 이때 사용된 미세조직은 Al-6wt%Si와 Al-9wt%Si, Al-12wt%Si, Al-15wt%Si 였으며, 각각 조성별 특징이 뚜렷한 합금 조성으로 선정하였다. 이에 다음과 같은 결론을 얻을 수 있었다.

1) 생성된 모조 이미지는 Al-Si 주조 합금의 각 조성에 해당하는 미세조직 이미지의 대략적인 구조적 특징은 잘 나타났으나, 육안으로 확인했을 때 과공정 합금의 경우 Si 초정상과 침상 조직이 왜곡된 형태로 나타났으며 아공정 합금의 경우 수지상 같은 연속된 패턴을 적절하게 표현하지 못했다.

2) 생성된 모조 이미지를 인셉션V3 알고리즘을 이용해 유사도를 측정해본 결과 목표 조성에서 피크가 관찰되었다. DCGAN 학습초기의 결과는 육안으로 보았을 때 만족스럽지 못했으나, 인셉션V3 검증에서는 높은 유사도를 나타내었다. 이로써 불안전한 이미지도 훈련 데이터의 주요 정보를 보유하고 있음을 알 수 있었다.

3) 실제 이미지와 검증 이미지, 모조 이미지를 교차 검증한 결과 본연구의 DCGAN에서 생성된 모조 이미지는 실제 이미지를 잘 반영하고 있으며, 부족한 실제 이미지의 데이터 증대에 충분히 사용 가능하였다. 육안으로도 실제 이미지와 구별되지 않는 모조 이미지를 생성하기 위해서는 조금 더 정교한 알고리즘의 설계가 필요하다고 판단된다.

References

1. Wikipedia contributors, Microstructure, https://en.wikipedia.org/wiki/Microstructure. 2021.
2. LeCun Y., Huang F.J., Bottou L.. Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit p. 97. IEEE. Washington DC, USA: 2004.
3. Deng L., Dong Y.. Found. Trends Signal Process 7:197. 2014;
4. Kusumoto D., Yuasa S.. Inflamm. Regener 39:14. 2019;
5. Tang B., Pan Z., Yin K., Khateeb A.. Front. Genet 10:214. 2019;
6. Sarva mangala D.R., Kulkarni R.V.. Evol. Intel 2021;
7. Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z.. In : IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. 2818. IEEE; Las Vegas, USA: 2016.
8. Szegedy C., Ioffe S., Vanhoucke V., Alemi A.. In : 31st AAAI Conf. Artif. Intell. p. 4278. AAAI; San Francisco, USA: 2017.
9. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A.. In : IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. p. 1. IEEE; Boston, USA: 2015.
10. He K., Zhang X., Ren S., Sun J.. In : IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. p. 770. IEEE; Las Vegas, USA: 2016.
11. Jeong S.-J., Hwang I.-K., Cho I.-S., Kim H.-S.. Korean J. Met. Mater 57:184. 2019;
12. Lee H.-J., Hwang I.-K., Jeong S.-J., Cho I.-S., Kim H.-S.. Korean J. Met. Mater 59:430. 2021;
13. Steinbach I.. Annu. Rev. Mater. Res 43:89. 2013;
14. Tourret D., Liu H., LLorca J.. Prog. Mater. Sci :100810. 2021;
15. Goodfellow I.J., Warde-Farley D., Mirza M., Courville A., Bengio Y.. In : Proc. Int. Conf. Mach. Learn. p. 1319. ICML; Atlanta, USA: 2013.
16. Lee J.-W., Goo N.H., Park W.B., Pyo M., Sohn K.-S.. Eng. Rep :3. e12274. 2021;
17. Chun S., Roy S., Nguyen Y.T., Choi J.B., Udaykumar H.S., Baek S.S.. Sci. Rep 10:13307. 2020;
18. Hsu T., Epting W.K., Kim H., Abernathy H.W., Hackett G.A., Rollett A.D., Salvador P.A., Holm E.A.. JOM 73:90. 2021;
19. Radford A., Metz L., Chintala S.. In : Proc. Int. Conf. Learn. Represent. ICLR; San Juan, Puerto Rico: 2016.
20. Goki S.. Deep learning from scratch O’Reilly Japan. Tokyo: 2016.
21. Python Software Foundation, https://www.python.org (2021).
22. TensorFlow, https://www.tensorflow.org (2021).
23. Biswas P., Patra S., Roy H., Tiwary C.S., Paliwal M., Mondal M.K.. Met. Mater. Int 27:1713. 2021;
24. Park K.-S., Kim H.-S.. J. Korea Foundry Soc 37:108. 2017;
25. Kurz W., Fisher D.J.. Int. Mat. Rev 24:177. 1979;
26. Wang N., Trivedi R.. Scr. Mat 64:848. 2011;

Article information Continued

Fig. 1.

Schematic architecture of (a) DCGAN with its substructures, (b) discriminator, and (c) generator, which were used in this study.

Fig. 2.

Sample images of binary Al-Si cast alloys with (a) 6 wt%Si, (b) 9 wt%Si, (c) 12 wt%Si, and (d) 15 wt%Si, used for dataset of machine learning in this study. The specimens were etched with Keller's reagent for microscopy. The sizes of each images were 512 × 512 pixels.

Fig. 3.

Fake microstructural images of binary Al-Si cast alloys with (a) 6 wt%Si, (b) 9 wt%Si, (c) 12 wt%Si, and (d) 15 wt%Si, generated with DCGAN in this study. The sizes of each images were 512 × 512 pixels.

Fig. 4.

Similarity distribution examined using Inception V3 for (a) Al-6wt%Si, (b) Al-9wt%Si, (c) Al-12wt%Si, and (d) Al-15wt%Si alloys. Total 30 images per composition generated using DCGAN were used for the tests. The each peaks of Si content existed at the corresponding target compositions, which means that the fake images were similar to the real microstructures.

Fig. 5.

(a) Change of discriminator loss with training step in case of the Al-9wt%Si alloy, and (b) change of similarity at peak with training step. Total 30 images were generated with DCGAN and examined Inception V3 at each training steps. Note that the images generated before 300 epochs in (a) did not look like real images when observed with naked eyes. However the corresponding similarities at peak in (b) is greater than 50%. It means that the machine recognized the above bad images as realistic ones.

Fig. 6.

Similarities at peak of 30 fake images generated using DCGAN, and 30 test images not included in training data, when DCGAN used the 70 real images for reference.

Fig. 7.

Similarities at peak of 30 real images which were used for training, and 30 test images, when DCGAN used the 70 fake images for reference.

Fig. 8.

Similarities at peak of 30 real images, 30 fake images and 30 test images, when DCGAN used the 70 real images and 70 fake images for reference.

Table 1.

Model of DCGAN used in this study for microstructural images.

Module Layer Function Input shape Kernel Padding Stride Activation Output shape
Generator Project & Reshape 100 × 1 4 × 4 × 1024
DConv1 Transposed convolution 4 × 4 × 1024 4 × 4 2 × 2 2 × 2 Leaky ReLu 8× 8× 512
DConv2 Transposed convolution 8× 8× 512 4×4 2 ×2 2 × 2 Leaky ReLu 16 × 16 × 256
DConv3 Transposed convolution 16 × 16× 256 4 ×4 2×2 2 ×2 Leaky ReLu 32 × 32 × 128
DConv4 Transposed convolution 32 × 32× 128 4 ×4 2×2 2 ×2 Leaky ReLu 64 × 64 × 64
DConv5 Transposed convolution 64 × 64 × 64 4 × 4 2 × 2 2 × 2 Leaky ReLu 128 × 128 × 32
DConv6 Transposed convolution 128 × 128 × 32 4 ×4 2×2 2 ×2 Leaky ReLu 256 × 256 × 16
DConv7 Transposed convolution 256 × 256 × 16 4 × 4 2 × 2 2 × 2 tanh 512 × 512 × 3
Discriminator Conv1 Convolution 512 × 512 × 3 4 × 4 4 × 4 2 × 2 Leaky ReLu 256 × 256 × 16
Conv2 Convolution 256 × 256 × 16 4 × 4 4 × 4 2 × 2 Leaky ReLu 128 × 128 × 32
Conv3 Convolution 128 × 128 × 32 4 × 4 4 × 4 2 × 2 Leaky ReLu 64 × 64 × 64
Conv4 Convolution 64 × 64 × 64 4 × 4 4 × 4 2 × 2 Leaky ReLu 32 × 32 × 128
Conv5 Convolution 32 × 32 × 128 4 × 4 4 × 4 2 × 2 Leaky ReLu 16 × 16 × 256
Conv6 Convolution 16 × 16 × 256 4 × 4 4 × 4 2 × 2 Leaky ReLu 8× 8× 512
Conv7 Convolution 8 × 8 × 512 4 × 4 4 × 4 2 × 2 Leaky ReLu 4×4× 1024
Flatten 4 × 4 × 1024 16384 × 1
FC 16384 × 1 Sigmoid 1