설명 가능한 인공지능으로 해석한 Al-Sc-X 합금의 경도 예측 기계학습 모델과 역설계
Predicting the Hardness of Al-Sc-X Alloys with Machine Learning Models, Explainable Artificial Intelligence Analysis and Inverse Design
Article information
Trans Abstract
In this study, the Vickers hardness of precipitation-strengthened Al-Sc-X (X = Zr, Si, and Fe) alloys were predicted using machine learning models, depending on the alloys’ compositions, solid-solution treatment and aging conditions. The data used for machine learning were collected from the literature. Among the models, tree-based ensemble models such as extreme gradient boosting and random forest performed well. Then the feature impact on the model output was analyzed with SHarpely Additive eXplanation (SHAP). Based on the SHAP analysis and prior domain knowledge, the process conditions were restricted to narrow down the inverse design search space. Candidate alloys suggested by the optimization using a genetic algorithm showed improved hardness values. The hardness prediction model and the inverse design-suggested candidates were then experimentally validated. The accuracy of the hardness prediction model was 0.994, when the predicted hardness was 85.4 Hv, and the experimentally measured hardness was 84.9 Hv. A specimen whose composition was close to the inverse-designed alloy was cast and heat treated according to the suggested conditions. The inverse design showed an accuracy of 0.965. Exploring the entire combination of possible feature space requires vast effort and time. An efficient search for materials with improved properties can be achieved using an appropriate configuration of well-performing machine learning models and explainable AI techniques guided by domain knowledge.
1. 서 론
Al 합금의 고온 강도 향상을 위해 L12 구조의 준평형 석출상에 의한 강화 기구에 대한 많은 연구가 있었다[1-18]. 기계적 물성을 증가시키기 위해 모재에 Sc, Zr등을 첨가하고 시효 처리를 통해 Al3X (X=Sc, Zr)상을 석출시킬 때 소재는 열처리 온도와 이에 따른 합금 원소의 확산 거동에 민감한 영향을 받는다. 높은 온도 또는 장시간 과시효 처리된 합금의 준평형 석출상은 평형상인 D023 구조로 변하여 기계적 물성을 저하시킨다[18]. 석출상의 생성, 성장 및 분해 거동은 Lifshitz-Slyozov-Wagner 모델 및 Ostwald ripening으로 설명할 수 있으나[19-21] 복잡한 조성 및 공정 조건과 기계적 물성을 직접 연결하는 것은 용이하지 않다.
기계학습 모델을 이용하면 소재의 조성 및 공정 조건과 연관된 물리 이론적 기반 없이 인자(Feature)로부터 목표 물성을 직접 예측하거나 도출하는 것이 가능하므로, 이를 이용하여 합금 조성과 특성을 연결하여 해석하는 여러 연구가 시도되었다[22-30]. 기계학습을 소재 특성 향상 및 신규 소재 개발에 효과적으로 활용하기 위해서는 조성 및 공정 조건으로부터 물성을 예측하는 순방향 기계학습 모델을 넘어 원하는 물성을 갖는 조성 및 공정 조건을 도출하는 역설계 기계학습 모델을 개발해야 한다. 합금의 조성 및 공정 조건으로부터 특성을 예측하는 기계학습 모델과 비지배 유전 알고리즘(Non-dominated genetic algorithm) 및 개선된 변이형 오토 인코더 (Modified variational autoencoder)를 이용하여 항복강도와 인장강도의 최적 조합을 역설계하는 연구[27]와 여러 기계학습 모델을 종합적으로 활용하여 얻은 역설계 결과를 Holographic research strategy로 가시화하는 연구[28]가 발표되어 구조용 합금 소재의 역설계 방향성을 제시하였으며, 알칼리 초이온 도체의 최적 물성 도출을 위한 여러 최적화 기법의 활용과 제일원리 계산을 통한 검증 사례 또한 보고되었다[26].
기계학습에 목표 특성을 갖는 조성 및 공정 조건을 제안하는 역설계 기법을 적용하기 위해서는 예측 결과에 미치는 인자의 영향을 해석하고 그 정보를 보존할 필요가 있다. 예를 들어 인자의 선형 결합으로 물성을 예측하는 선형회귀(Linear regression) 모델은 예측 성능이 낮지만 역변환을 이용하여 물성으로부터 조성 및 공정 인자를 계산하는 것이 가능하다. 반면 높은 예측 성능을 갖는 결정 트리(Decision tree) 기반 앙상블 모델은 예측 값에서 인자를 추적하는 것이 어려우며 심층신경망 (Deep neural network) 모델은 신경망 층을 지나며 인자의 독립성이 소실된다. 이와 같이 예측 성능은 높지만 내부의 의사결정 과정을 알 수 없는 블랙박스 형태의 기계학습 모델을 해석하기 위해 설명 가능한 인공지능(eXplainable AI)을 이용한 여러 연구결과가 발표되었다[22, 31-33]. 이 방법으로 높은 예측 성능을 갖는 기계학습 모델과 이에 근사하면서 인자의 영향을 정량적으로 평가할 수 있는 대체(surrogate) 모델을 만듦으로써 기계학습 모델의 예측 성능과 해석력을 동시에 획득할 수 있다.
본 연구에서는 공개 문헌에서 수집한 데이터를 바탕으로 Al-Sc-X 합금의 경도를 예측하는 기계학습 모델과 설명 가능한 인공지능 기법을 이용하여 모델 예측에 미치는 공정 인자의 영향을 해석하였다. 이를 기초로 최적화 기법 중 하나인 유전 알고리즘(Genetic algorithm)을 활용하여 경도가 향상된 조성을 역설계 하고, 예측 모델과 역설계 결과를 실험적으로 검증하였다.
2. 실험 방법
경도 예측 모델과 유전 알고리즘으로 역설계한 합금의 실험적 검증을 위해 Al-Sc-Si-Fe계 합금 시편을 제작하였다. 시편은 순수 Al (99.9 wt%), Al-Sc 모합금 (2.09 wt% Sc), 순수 Si (99.999 wt%)를 이용하여 진공 분위기에서 유도용해 후 3 mm 두께의 판재 형태로 주조하였으며, Fe는 불순물로서 필연적으로 포함된다. 각 시편은 300 °C에서 12시간 시효 처리 후 비커스 경도를 측정하였다. 경도는 시편 단면부를 연마한 후 중심에서 100g, 15초의 조건으로 3회 측정 후 평균값을 사용하였다.
3. 결과 및 고찰
3.1 경도 예측 회귀 모델
Al-Sc-X (X=Zr, Si, Fe) 합금계의 조성 및 열처리 조건에 따른 경도 변화를 예측하는 회귀 모델을 만들기 위해 공개된 논문으로부터[1-8, 12, 13, 15-17] 조성 (wt.%), 용체화 처리 온도 (SST Temp, °C) 및 시간 (SST Time, hrs), 시효 처리 온도 (Aging Temp, °C) 및 시간 (Aging Time, hrs), 경도 (Vickers hardness, Hv)로 구성된 492개의 데이터 세트를 수집하였다(Appendix). 수집 조성은 Al-Sc-Zr-Si-Fe 합금계로 제한하였고, 주조 후 소성변형 없이 2단계 이하의 열처리만을 수행한 실험 결과를 데이터 수집 대상으로 하였다. 서로 다른 조성을 가지는 28종류의 합금을 여러 조건에서 열처리하여 얻은 492개의 경도 측정값이 본 연구의 목표 물성 (Target property) 이다. 논문에 따라 용체화 처리 및 시효 처리가 명시되어 있지 않거나 구분이 상이하여, 절대온도 단위의 열처리 온도가 Thermo-Calc의 TCAL8[34] 데이터베이스로 계산한 고상선 온도의 92% 이하인 경우는 시효 처리로, 그 이상인 경우는 용체화 처리로 분류하였다. 열처리를 수행하지 않은 경우 해당 온도를 25 °C, 시간을 0으로 설정하는 방식으로 데이터 누락을 보완하였다. 경도 측정 방법은 비커스 경도를 기준으로 하였고 측정 단위가 MPa로 표시된 결과는 식 (1)을 사용하여 Hv로 변환하였다[35]. 수집 데이터의 통계적 분포를 표 1에 표시하였다.
The input data statistics
그림 1은 원시(raw)데이터의 분포와 인자의 Pearson 상관관계 분석을 나타낸다. 조성 데이터는 높은 편향성을 보이고 일부 장시간 시효 처리에 의한 데이터 분포가 왜곡되어 있으나 목표 물성인 경도와 강한 상관관계를 가지는 인자는 없으며 인자간 상관관계도 높지 않다. 원시데이터를 92개의 hold-out test 세트와 400개의 4-fold cross-validation 세트로 구분하고 16개의 기계학습 모델을 사용하여 경도 예측 회귀 모델을 만들었으며 그 결과를 그림 2에 나타내었다. 경도 예측에 사용한 기계학습 모델은 다음과 같다: (1) Linear Regression (2) Ridge Regression (3) Least Absolute Shrinkage and Selection Operator (LASSO) Regression (4) Elastic Net (5) Kernel Ridge Regression (KRR) (6) Bayesian Ridge Regression (BRR) (7) Automatic Relevance Determination (ARD) Regression (8) Random Forest (RF) Regressor (9) Adaptive Boost (AdaBoost) Regressor (10) Gradient Boost Regressor (11) Extreme Gradient Boost Regressor (XGB) (12) Support Vector Regressor (SVR) (13) K-Nearest Neighbor (KNN) Regressor (14) Partial Least Squares (PLS) Regression (15) Gaussian Process Regressor (GPR) (16) Artificial Neural Network (ANN). 4-fold cross-validation 및 hold-out test 세트로 하이퍼파라미터 튜닝을 수행하고 최적 하이퍼파라미터를 사용하여 예측한 경도의 R2 값을 비교한 결과 (식 (2), 그림 3) XGB 모델이 0.8764로 가장 높은 성능을 보였다. 그 다음으로 RF, Gradient Boost 모델이 높은 정확도를 보이는데, 이러한 결정 트리 기반의 앙상블 모델이 신경망 모델 대비 이산(discrete) 값을 가지는 정형 데이터(Tabular data)를 예측하는데 적합하다고 보고되어 있다[36].
(a) The input data distributions and (b) the correlation analysis
Hardness prediction model results
Hardness prediction model performances
3.2 설명 가능한 인공지능을 이용한 모델 해석
상술한 기계학습 모델을 소재 역설계에 효과적으로 활용하기 위해서는 조성 및 공정조건 인자가 모델에 미치는 영향을 해석할 필요가 있다. 인자의 중요성을 평가하는 방법으로는 선형 모델에서 인자의 계수(Feature coefficient)를 비교하는 방법, 인자를 순차적으로 제거하면서 모델의 성능을 평가하는 방법 (Sequential feature selection), 복잡한 모델을 국소적으로 대체하는 모델을 만들어 예측을 근사하는 방법 (Local interpretable model-agnostic explanations, LIME)[37], 인자의 한계 기여도 (Marginal contribution)를 평가하는 Shapley value를 근사 모델에서 계산하는 방법 (Shapley additive explanations, SHAP)[38, 39] 등이 있다. 후자의 두가지 방법이 블랙박스 형태의 기계학습 모델 예측 결과를 인자와 연계하여 해석하는 설명 가능한 인공 지능의 대표적인 기법으로, 본 연구에서는 SHAP 분석을 통해 XGB 모델로 예측한 경도와 공정 인자의 관계를 해석하였다.
그림 4는 XGB 모델로 예측한 경도와 인자의 SHAP value를 표시한 것으로 모델 결과에 대한 인자의 영향으로 해석할 수 있다. Al-Sc-X 합금계의 주요 강화 기구는 L12 구조를 가지는 준안정 Al3Sc 석출상의 형성으로 Sc 함량 및 시효 처리 조건에 큰 영향을 받는다. 석출상 분율과 Sc 함량은 비례하여 Sc 함량이 증가할수록 경도가 증가하는 것은 그림 4에서 Sc 인자 값 (Feature value)이 클수록 Sc의 SHAP value 또한 증가하는 것에서 확인할 수 있다. 반면 시효 처리 온도 및 시간이 증가함에 따라 준안정 석출상이 분해되고 안정상으로 변태되므로 Sc 함량 다음으로 영향이 큰 인자(시효 온도 및 시간)의 단순한 증가 혹은 감소로는 최적의 경도 증가 효과를 얻을 수 없다. 경도에 대한 각 인자의 효과를 분석하기 위해 인자의 SHAP value를 그림 5의 Dependence plot에 표시하였다. 그림 5의 한 점은 하나의 데이터에 해당하며 인자가 원시데이터의 경도 평균보다 경도를 높이는 결과에 기여하면 양의 SHAP value를, 평균보다 경도를 낮추는 결과에 기여하면 음의 SHAP value를 갖는다. 이를 모두 더하면 하나의 데이터가 평균 경도보다 높거나 낮은 값에 도달하는데 기여하는 인자의 영향을 나타낼 수 있다.
SHAP values of the features
SHAP dependence plots of the features (a) Sc (b) Zr (c) Si (d) Fe (e) SST temp (f) SST time (g) Aging temp (h) Aging time
제조한 시편의 조성 및 미세조직을 균질화 하기 위해 통상 단상영역이 존재하는 고온에서 실시하는 용체화 처리는 (그림 5(e,f)) 시편 제조에 중요한 공정이지만 석출상의 분해를 야기하여 경도 자체에는 부정적인 영향을 미친다. Sc, Si 첨가에 따라 주조 시 수지상 중심부 및 수지상간 원소 분포 차이가 개선되어 용체화 처리 없이 균일한 석출상 생성이 가능한 경우도 있으나, 본 연구에서 수집한 원시데이터에는 미세조직 인자가 포함되어 있지 않아 이를 확인할 수 없다. 300 °C 이상에서 시효 처리는 (그림 5(g)) 경도 향상에 도움이 되나 400 °C 이상에서는 다른 공정 조건에 따라 경도 감소로 이어지기도 하며 500 °C 이상에서는 경도에 부정적인 영향을 미친다. 일정 시간 이상의 시효 처리 시간이 경과하면 그 값이 증가하더라도 경도가 유의미하게 증가하지 않는다 (그림 5(h)). 알루미늄 합금에서 시효 석출 거동은 합금계와 온도 및 시간에 따라 작용 기제가 다르므로 그림 4,5의 해석 결과는 XGB 모델에 사용한 원시데이터의 범위 안에서만 유효하다.
전술한 바와 같이 설명 가능한 인공지능 기법으로 인자를 해석하여 목표 물성을 위한 역설계 인자 탐색 공간 (Feature search space)을 효과적으로 줄일 수 있다. 구조용 합금은 제조 공정이 복잡한 반면 예측 모델을 구성하는 관측 데이터 수가 작아 최적화를 위해 탐색 공간을 이동할수록 정확도가 낮아진다. 이를 해결하는 최선의 방법은 데이터 수를 늘리는 것이지만 이를 위해서는 많은 노력과 시간 및 비용이 필요하다. 반면 설명 가능한 인공지능 기법과 해당 분야의 전문 지식(Domain knowledge)을 적절히 활용하여 탐색 공간의 범위를 축소함으로써 경제적으로 역설계를 수행할 수 있다.
3.3 실험적 검증 및 경도 향상을 위한 역설계
전술한 XGB 경도 예측 모델의 유효성을 검증하기 위해 표 2의 시편을 제작하여 경도를 측정하고 예측 값과 비교하였다. SHAP 분석을 통해 도출한 열처리 공정 조건의 최적 조건으로 용체화 처리는 수행하지 않고 300 °C에서 12시간동안 시효 처리하였다. 이에 따라 주조 시 수지상 사이에 편석되어 용체화 처리를 필요로 하는 합금원소(Zr)의 첨가 또한 제한하였다. XGB 모델로 예측한 경도 (Hv_pred)는 85.4 Hv로 시편의 측정된 경도(Hv_exp = 84.9 Hv)와 비교하였을 때 0.994의 정확도를 보여 모델의 유효성이 검증되었다.
Experimental validation of the hardness prediction model (XGB)
주어진 조성 및 공정 조건에서 시편의 경도를 예측하는 모델을 이용하여 임의의 인자 공간을 탐색하는 방법으로 경도가 향상된 합금 조성을 역설계 할 수 있다. 역설계 및 최적화 방법으로는 인자 공간을 균분하여 탐색하는 방법(Grid search), 인자 값으로 구성된 염색체의 진화를 이용하는 유전 알고리즘, 입자의 군집이 정보를 교환하며 최적해를 탐색하는 입자 군집 최적화 (Particle swarm optimization), 목적 함수의 불확실성을 줄이는 방향으로 최적해를 탐색하는 베이지안 최적화 (Bayesian optimization) 등이 있다. 이중 유전 알고리즘은 전체 인자 공간 대비 작은 수의 염색체를 사용하여 탐색 공간 전체 영역을 탐색하는 방법으로 유전자 변이를 적절히 활용하면 빠른 탐색 속도를 유지하는 동시에 국소 최소해 (Local minima)에 빠지는 것을 방지할 수 있는 효과적인 방법이다.
본 연구에서는 합금 원소의 함량을 유전자로 가지는 염색체를 한 세대 당 100개 생성하고, 1000 세대동안 진화를 추적하는 방법으로 경도가 향상된 합금 조성을 도출하였다. 각 세대에서 최적 적합도를 가지는 염색체는 경도 예측 XGB 모델을 이용하여 판단하였다. 룰렛휠 방식으로 선택한 부모 염색체로부터 자손 염색체를 생성하고, 무작위로 선택된 자손 유전자에 5% 노이즈를 더하거나 빼는 변이를 가하여 결정된 자손 염색체를 해당 세대에서 최소 경도를 가지는 염색체와 교체하는 방법으로 세대 진화를 계산하였다 (그림 6). 세대 진화에 따른 경도 변화는 그림 7(a)와 같으며 876번째 세대에서 집단 내의 모든 염색체가 최대 경도에 수렴하였다. 최종 세대에서 100개의 염색체는 그림 7(b)와 같이 실험으로 제조 가능한 조성 범위에서 2개의 그룹으로 크게 분류할 수 있다. 이 중 Candidate 1과 유사한 시편을 제조하여 경도를 측정한 결과 0.965의 정확도를 보여 (표 3) 유전 알고리즘을 통한 효과적인 조성 역설계가 가능함을 실증하였다. 수집 데이터의 합금 경도와 검증 실험 결과 및 역설계 결과를 그림 8에 표시하여 비교하였다.
Schematic of the alloy search using genetic algorithm
(a) Hardness changes vs. evolution in GA and (b) suggested candidates
Candidates suggested from the genetic algorithm and the experimental validation
Comparison of collected dataset, experimental validation and inverse design results
4. 결 론
본 연구에서는 Al-Sc-X 합금계에서 조성 및 열처리 조건에 따른 경도를 예측하는 기계학습 모델을 만들고 이를 바탕으로 고경도 조성을 역설계 하여 실험적으로 검증하였다. 공개 문헌에서 수집한 합금 조성 및 열처리 조건으로 데이터 세트를 구성하고 경도를 예측하는 16개의 회귀 모델을 비교하였을 때 XGB 모델이 가장 높은 예측 성능을 보였다. 이 모델을 실험적으로 검증한 결과 측정한 경도와 모델이 예측한 경도는 0.994의 정확도로 일치하였다. 예측 모델 결과에 영향을 미치는 인자를 설명 가능한 인공지능 기법으로 해석하기 위해 SHAP 분석을 수행하였고, 이를 통해 공정인자가 경도에 미치는 영향을 해석하였다. 해석 결과로부터 경도 향상에 적합한 열처리 조건을 도출한 뒤 이를 바탕으로 조성 염색체를 가지는 유전 알고리즘을 이용하여 고경도 합금 조성 후보군을 제안하였고, 실험적 검증을 통하여 역설계 모델의 유효성을 실증하였다. 본 연구를 통해 복잡한 조성과 공정 조건을 가지는 구조용 합금 제조에서 최적 목표 물성을 효과적으로 역설계하기 위해서, 설명 가능한 인공지능 기법을 이용한 탐색 영역 축소 및 유전 알고리즘을 통한 전역 탐색을 결합하는 방법을 제시하였으며 유사한 방법을 다른 합금계에 적용하는 연구가 진행중이다.
Acknowledgements
본 연구는 과학기술정보통신부 나노 및 소재 기술개발사업 (NRF-2021M3A7C2089767)과 한국재료연구원 기본사업(PNK9130)의 지원으로 수행되었습니다.
References
Appendices
연구에 사용한 원시데이터는 아래에 공개되어 있다.