파트 2: 대리 모델 및 베이지안 크레이지 슬롯

대리 모델이란 무엇입니까?

목적 함수 f(x)를 최소화하는(또는 부호를 반전하여 최대화하는) 설계 변수 x의 조합(최적 솔루션)을 검색하려면 x의 모든 조합에 대해 f(x)를 평가해야 합니다 그러나 실제 설계 크레이지 슬롯 문제에서 목적 함수 평가(결과적으로 전체 크레이지 슬롯)에는 엄청난 계산 비용이 소요되는 경우가 많습니다 예를 들어 항공기 설계에서는 항력과 양력 같은 공기 역학적 성능이 목적 함수이지만 이는 유체 운동을 지배하는 비선형 편미분 방정식인 Navier-Stokes 방정식을 처리하는 대규모 수치 계산을 통해 평가되므로 단 하나의 설계 후보를 평가하는 데 몇 시간, 며칠, 심지어 몇 주가 소요됩니다

이러한 크레이지 슬롯 문제에서 목적 함수를 평가하는 데 필요한 계산 시간을 줄이는 한 가지 방법은 ``대리 모델''입니다 대리 모델은 설계 변수 x에 대한 목적 함수의 실제 응답 f(x)를 구불구불한 액센트 f(x)가 있는 대수식(예: 다항식)에 대한 대체(대리) 근사치이며 "응답 표면"이라고도 합니다 대리 모델의 대수 공식은 x의 제한된 조합에 대한 대규모 수치 계산으로 평가된 f(x)의 데이터(샘플)를 보간하거나 회귀하기 위해 구성됩니다 f(x)의 함수 형태는 알려져 있지 않지만(검은색 상자), 곡절 악센트가 있는 f(x)의 대수적 표현은 알려져 있습니다(흰색 상자) 따라서 대리모형을 이용하면 표본 데이터가 주어지지 않는 어느 지점에서도 목적함수를 즉각적으로 추정할 수 있으며, 대리모형에서 신속하게 최적의 해를 찾을 수 있다

그러나 대리 모델은 결국 "근사"일 뿐이므로 최적의 솔루션이 모델에서 올바르게 발견된다는 보장은 없습니다 또한, 대리모델의 근사 정확도를 높이기 위해 무작정 샘플 데이터 수를 늘리는 것도 계산 비용 측면에서 바람직하지 않다

크리깅

Krige [1]는 광산에 여러 개의 구멍을 뚫고 광물 함량을 측정한 결과로부터 구멍이 파지지 않은 지역을 포함하여 광산 전체에 걸쳐 광물 함량의 가장 가능성 있는 공간적 분포를 추정하는 방법을 제안했습니다 여기서 파생된 대리 모델 "Kriging"[2]("Gaussian process"[3]와 거의 동의어)는 샘플 데이터에 맞는 확률론적 프로세스를 모델링합니다 이러한 확률론적 과정의 평균은 목적함수에 대한 추정식으로 도출되고, 확률론적 과정의 분산은 추정에 포함될 수 있는 "불확실성"(즉, 추정 오차/오차 막대)을 나타내는 공식으로 도출됩니다 표본 데이터가 주어진 지점에서는 불확실성이 0이고, 지점이 표본 데이터에서 멀어질수록 불확실성은 커집니다

Kriging 모델을 제외한 일반 대리 모델은 목적함수의 추정식만을 모델로 하는 반면, 확률론적 과정을 기반으로 하는 Kriging은 함수 추정뿐만 아니라 추정 오차까지 모델링합니다 나중에 설명하겠지만, Kriging의 이 기능은 추정 오류가 있는 대리 모델에서 최적의 솔루션을 올바르게 찾는 데 효과적입니다

*SCSK 대리 모델 호환 솔루션무료 슬롯

베이지안 크레이지 슬롯란 무엇입니까?

크리깅 이외의 대리 모델에서 최적의 해를 찾는 일반적인 방법은 구불구불한 액센트 f(x)를 사용하여 목적 함수 f(x)의 추정값을 최소화하는 해 x*를 찾고, f(x*)에서 평가된 목적 함수의 실제 값을 샘플 데이터에 추가하고, 대리 모델을 업데이트한 다음, 모델에서 다시 해를 찾는 단계를 반복하는 것입니다 그러나 이 방법은 대리모형의 추정오차를 무시하기 때문에 잘못된 해를 찾는 경향이 있어 진정한 최적해를 찾지 못할 수도 있다

그래서 크리깅을 이용하여 최적의 해법을 찾는 방법을 설명하겠습니다 Kriging으로 모델링한 함수추정(확률과정의 평균)과 추정오차(확률과정의 분산)에 대한 정보로부터 지금까지 얻은 샘플 데이터와 비교하여 목적함수가 향상되는 정도인 기대개선도(EI)[4]를 계산할 수 있다 EI를 극대화하는 솔루션에 샘플 데이터를 추가함으로써 대리모델의 추정 오차를 줄이는 동시에 대리모델에서 더 나은 솔루션을 찾는 것이 가능합니다(궁극적으로 진정한 최적 솔루션에 도달) 이와 같이 대리모델의 오차 정보를 바탕으로 적절하게 샘플 데이터를 추가하여 모델의 정확도를 높이면서 확률론적으로 최적의 해를 찾는(소위 베이즈 정리(Bayes Theorem) 기반), 이를 '베이지안 최적화(Bayesian Optimization)'라고 합니다

이번에는 크레이지 슬롯 문제를 해결하는 방법 중 하나인 '대리 모델'과 이를 활용한 '베이지안 크레이지 슬롯'를 소개했습니다베이지안 메가 슬롯의 애플리케이션을 소개합니다

*SCSK의 베이지안 크레이지 슬롯 솔루션무료 슬롯, 피망 슬롯

참고자료

• [1]Krige, DG: Witwatersrand 대학의 일부 광산 평가 및 관련 문제에 대한 통계적 접근 방식, Witwatersrand 대학 석사 논문(1951)
• [2]Sacks, J, Welch, WJ, Mitchell, TJ, Wynn, HP: 컴퓨터 실험의 설계 및 분석 통계학, 4(4): 409–435 (1989)https://doiorg/101214/ss/1177012413
• [3]Rasmussen, CE, Williams, CKI: 기계 학습을 위한 가우스 프로세스, MIT Press(2006)
• [4]Jones, DR, Schonlau, M, Welch, WJ: 값비싼 블랙박스 기능의 효율적인 전역 크레이지 슬롯 전역 크레이지 슬롯 저널, 13: 455–492(1998)https://doiorg/101023/A:1008306431147