성능지표

딥러닝 성능 측정

머신러닝에서 어떠한 문제를 해결하는 시스템 모델

 

regression

- mse

-mae

-r square (mae 개선)

-adjusted r square

 

classification

precision-recall

roc-auc

accuracy

log-loss

 

classification(분루)

데이터셋

-test : 실체  정답 되는 데이터셋

predict : 모델이 예측한 결과인 데이터셋

 

데이터의 종류

positive : 모델을 통해 알아내고 싶은 값

negative : positive 가 아닌 값

모델분류 결과

true : 예측성공 y=y_hat

false : 예측실패 y != y_hat

 

포지티브(우리가 알고싶은 것), 네거티브(아닌것들) 정의 기준

<예시>

포지티브는 암환자

네거티브는 암이 아닌환자

포지티브: 영화리뷰 긍정 인것

포지티브 : 타이타닉 생존자

포지티브 :1

네거티브:0

 

y가 y_hat과 일치하면 true

y가 y_hat과 일치하지 않으면 false

 

accuracy = 정합 도, 모델 정답을 정바으로 오답을 오답으로 선택 하는 가를 보여주는 지표

 

 

precision : 정밀도 모델에서 정답이 아닌 것을 얼마나 잘 걸러 내는가를 보여주는 지표

우리 모델즉 예측값이 positive라고 예측한것중 실제로 positive인게 몇개인가?

 

재현율 : 실세계를 얼마나 모델링이 잘 재현했는지.. (의료/반도체 수율 등 사용)

뷰노,루닛 회사

 <예>

정밀도 : 1/1 =100%

재현율 : 1/10 = 10% 

재현율을 보면 차이가 많이 난다.

 

accuracy : (990+1)/(990+9+1+0) 99.1%

precision : 1/1+0  100%

recall : 1/ 9+1 10%

 

데이터 -> high recall model-> high precision model -> 결과