건물, 확인, 파트 2 : 슬롯 무료체험 유효성 검사기

1. 슬롯 무료체험 정확도 시각화

슬롯 무료체험 유효성 검사기를 사용하면 슬롯 무료체험 정확도를 시각화 할 수 있으며 "플롯"풀다운 메뉴에서 두 가지 유형의 플롯을 선택할 수 있습니다.

첫 번째는 예측 정확도에 대한 오류 분포를 분석하는 데 사용할 수있는 Quantile Plot (Quantile Plot)입니다. 이 플롯은 수평 축의 값보다 오류가 적은 샘플의 백분율을 보여줍니다. 직관적으로, 경사가 가파르게 (꼬리가 가장 높은 값 근처에 길어질수록) 더 나은 슬롯 무료체험로 해석 될 수 있습니다.

두 번째는 산점도로, 기준 샘플을 모델 예측 결과와 직접 비교합니다. 특정 데이터 도메인에서 오류 크기 및 특이 치를 확인하는 데 사용할 수 있습니다.

2. 절대/표준 예측 오류 색인

기본적으로 Quantile 플롯 (Quantile Plot) 및 오류 표시기는 절대 오차 값으로 표시되지만 "오류"로 표준 오류 (절대 오류를 참조 샘플의 표준 편차로 나눈)를 변경할 수도 있습니다. 표준 오류는 출력 값 범위의 영향을 무시하는 오류 평가를위한 기준으로 사용할 수 있습니다.

디스플레이 화면 하단의 테이블은 예측 오류 표시기 목록이며, 가장 잘 강조 표시됩니다.

• R2 : 결정 계수, 슬롯 무료체험이 나타내는 출력 값의 변화 비율
• RMS : 평균 제곱 오류
• 최대 : 최대 예측 오류
• Q99 : 99% 오류 값이 바닥에서 오류 값을, 참조의 99%에 대해 예측 오류 가이 값보다 낮습니다
• Q95 : 95% 오류 값이 바닥에서 오류 값과 참조의 95%에 대해 예측 오류 가이 값보다 낮습니다.
• 중간 : 중간 예측 오류
• 평균 : 예측 오류의 산술 평균

R2 (결정 계수)는 가장 안정적인 지표이며 1.0에 가깝습니다. 다른 숫자가 낮을수록 예측이 더 좋습니다.

3. 유효성 검사를위한 샘플 데이터 선택

샘플 "유효성 검사에 사용 된 참조 데이터를 변경할 수 있습니다.

• "Training"은 슬롯 무료체험의 교육 샘플을 사용하여 알려진 데이터의 예측 정확도를 평가합니다.
• "테스트"는 별도의 테스트 샘플을 사용하여 알려지지 않은 데이터에 대한 일반 예측 성능을 평가합니다.
• "내부 검증"은 크로스 검증을 통해 슬롯 무료체험 성능을 평가합니다.

훈련 샘플을 사용한 검증은 슬롯 무료체험을 과대 평가하는 경향이 있으므로 가능한 경우 테스트 샘플을 사용하는 것이 좋습니다. 훈련 샘플의 오류가 작 으면 (Quantile Plot의 느린 경사면), 특히 같은 슬롯 무료체험의 오류가 다른 테스트 샘플에서 높은 것으로 보이는 경우 과다 학습의 위험이 있습니다. 테스트 데이터를 얻을 수없는 경우 내부 검증을 선택하는 것이 좋습니다. 이 데이터는 슬롯 무료체험 구성 중에 발생하는 교차 검증 결과와 동일합니다.

제작, 검증 및 탐사 파트 3에서는 "슬롯 무료체험 내부"를보고 대화식 시각화 도구 인 Model Explorer를 사용하여 슬롯 무료체험의 동작을 탐색하는 방법을 소개합니다.