Tensorflow 과대적합과 과소적합

과대 적합(over-fitting) 과 과소 적합(under-fitting)

과대 적합 : 모델이 너무 과하게 적합하다. 샘플에 대해서는 100%일지 모르지만 예측율이 떨어지게된다.

과소 적합 : 모델이 너무 맞지 않는다. 샘플에 대해서도 정확도가 떨어지고 예측율또한 떨어지게된다.

Appropriate-fitting을 찾는 것이 목표라고 할 수 있다.

아래 그림은 선형예측과 분류에서의 과적합 예제를 보여주고 있다.

과적합 방지를 위해서 전체 데이터중에서

보통 8:2의 비율로 나누어서 8이 학습용(train) 2를 검증용(validation)으로 사용한다.

learnaday 출처

파란선이 학습그래프이고 주황색이 검증그래프이다. 

학습 횟수에 따라서 증감을 보여주는데 Loss에서 검증과 학습이 교차하는 부분이 최고의 모델이다.

과대적합 방지를 위해서는 

1.더 많은 훈련 데이터를 모읍니다.

2.네트워크의 용량을 줄입니다.

3.가중치 규제를 추가합니다.

4.드롭아웃을 추가합니다.

위와 같은 과대적합의 경우에는 모델을 간단하게 해주어야 해결될 수 있습니다.

즉, 모델의 복잡도를 낮추어야 한다.

전보다 훈련 데이터에는 성능이 덜 나오지만, 필요 이상으로 복잡한 패턴을 학습하지 않으며,

테스트 데이터에 잘 대처할 수 있습니다.

과소적합 방지를 위해서는

1. 파라미터가 더 많은 복잡한 모델을 선택

2. 모델의 제약을 줄이기(규제 하이퍼파라미터 값 줄이기)

3. 조기종료 시점(overfitting이 되기 전의 시점)까지 충분히 학습

데이터셋이 주어지면 학습용 / 검증용 / 테스트용 세부분으로 나누어 사용하는 것이 정설이다.