소개

h2o.aiYA무인 AI와 같은 자동 기계 학습 플랫폼에서 데이터 과학자의 관점에서 많은 사람들을 보았습니다. 누가 분석 문제에 대한 최적화 슬롯 추천를 선택하는 데 어려움을 겪고 있습니다.

확률 론적 모델링(확률 모드 링)와 달리 회귀 문제에서 메트릭을 선택하는 것은 특히 어려운 경향이 있습니다.

“좋은 모델”이 모든 성능 메트릭에서 좋은 결과를 얻을 수 있지만 드물다.

대부분의 경우 최적화 프로세스가 시작되고 대부분의 성능 지표가 개선됩니다. 그러나 잠시 후 한 지표의 성능 향상은 다른 지표에서 성능 저하로 이어질 것입니다.

특히 평균 절대 오류(Mae)및 평균 제곱 오류(MSE)와 관련 하여이 상황을 여러 번 만났습니다.

모델Mae로직 최적화를 선택할 때 알고리즘의 첫 번째 반복에서MSEmoreMae그것은 또한 작습니다(매우 정확한)가까워지고 있습니다. 그러나 잠시 후Mae만 개선,MSE증가했습니다. 즉, 모델을 최적화 할 때 가장 가치있는 메트릭의 최적화를 통해서만 효과를 최대화 할 수 있습니다. 그렇지 않으면 결과가 최적이 아닙니다.

이 기사에서는 일반 회귀 메트릭을 검토하고 특정 메트릭 사용에 대한 권장 사항뿐만 아니라 각각의 장점과 단점에 대해서도 논의 할 것입니다. 또한 데모 데이터로Kaggle의 시계열 판매 예측 데이터를 사용합니다. 이는 각 소매 업체의 다른 부서 및 상점의 습관 판매를 예측하며140일주일보다 긴 기간. 분석은h2o.aiDepressai를 사용하십시오. 아래는 데이터의 요약입니다.

Data Excerpt

*오른쪽 꼬리의 평균에 대해 대상 변수의 분포가 크게 확장됩니다.

대상 변수(Weekly_Sales: 주간 판매)의 세부 사항 다음과 같습니다.

이름	min (min)	평균 (중심)	max (max)	std (표준 편차)
Weekly_Sales	-4,988.940	20,415.910	406,988.630	19,475.064

등급 표시기

rmse (또는MSE)

루트 평균 제곱 오류(RMSE), 평균 제곱 오류(MSE)제곱근을 제외하고RMSE원칙적으로 같은 것-가장 일반적인 슬롯 추천입니다. 회귀의 슬롯 추천로서의 왕/여왕 제목이 있다면 이것이 바로입니다. 공식은 다음과 같습니다.

*그러나y^i예측 값yi실제 측정 값

다시 말해, 테스트 데이터/행당 모든 오류(또는 잔류)요약 한 다음 실제 측정 값의 총 데이터 수로 나누십시오. 그런 다음 색인을 원래 척도로 일치시키는 제곱근을 찾으십시오(MSE).

포인트

1. 매우 인기있는 슬롯 추천, 일반 선형 회귀 최적화/최소화를위한 표시기. 또한 가장 오래된 슬롯 추천이기도합니다.
2. 오차 값으로 인해 값이 작을수록 정확도가 높아집니다. 또한,0위.
3. 큰 오류는 큰 무게가 주어집니다.1<< 와 같은 작은 오류는 제곱시 누적 오류에 크게 기여하지 않습니다. 반면에, 오류가 클수록 사각형의 영향이 커집니다.
4. 특이 치에 취약합니다. 샘플 데이터의 큰 오류는 누적 오류에 중대한 영향을 미치므로 최적화 로직이 동일합니다.1하나의 데이터에 대한 오류를 최소화하는 데 집중하고 다른 전체 데이터에 대한 결과가 좋지 않습니다.
5. 최적화하기 쉽습니다. 정사각형의 특성으로 인해 분화가 쉽기 때문에 확률 적 구배 하강 방법이 사용됩니다.(확률 적 구배 하강)와 같은 구배 기반 알고리즘.
6. Lightgbm,XGBOOST,KerasRMSE/MSE에 대한 최적화 로직도 있습니다.

어떤 상황에서

큰 오류를 일으키고 싶지 않은 경우 이상적인 표시기. 다시 말해, 특정 예측 오류가 극히 커지지 않는 한 다중 약간 더 큰 예측 오류가 발생할 수있는 경우에 적합합니다. 예를 들어,100오류가 발생합니다.+-200오류가 발생합니다2그것이 두 배 이상 나쁜 것이라고 말할 수 있다면RMSE/MSE선택 해야하는 슬롯 추천입니다.

실험 (H20으로 확인)

now,무인 AI| 시계열 모델rmse최적화, 다른 상점/부서 옆26주간 공장 주간 판매. 이 기사에서무인 AI'의 시계열 데이터 처리는 깊이있는 것이 아니므로 관심이 있으시면 아래 비디오를 참조하십시오*1기사*2를 참조하십시오.

*1https : //www.youtube.com/watch? v = fxkf616nc1i & t = 1667s

*2http : //docs.h2o.ai/driverless-ai/latest-stable/docs/userguide/time-series.html

참조실험에 대한 설정 다음과 같습니다.

테스트 데이터에서 얻은 각 지표에 대한 결과.

득점자 (평가 표시기)	최종 테스트 점수 (최종 테스트 점수)
Mae	2076.3
MAPE	24.196
mer	9.4783
MSE	1.3387E+07
R2	0.95816
rmse	3658.8
rmsle	nan
rmspe	17236
smape	17.048

rmse모델이3,658에서 발생했습니다. 테스트 데이터의 객관적인 변수의 평균은20,000라는 점을 고려하면 오류에 대한 좋은 값입니다. 특정 상점/부서의 개별 시계열을 살펴보고 예측이 어땠는지 살펴 보겠습니다.

예를 들어, Storeid:39/부서id:3테스트 데이터에서26주간 측정 값(옐로우)및 예측 가치(화이트)를 확인할 수 있습니다.

참고 :8계절별 피크가 다른 해에 매년 발생합니다/주기적 인 것 같습니다.rmse의 최적화 로직은이 예측의 오류를 줄이려는 시도입니다.

원본 제목

(공식) h2o.ai 슬롯 추천
회귀 메트릭 '거드
Marios Michailidis

[다음 기사에서 계속되었습니다.]