AIC_BIC

AIC & BIC는 CV(cross validation)처럼 모델의 적합도를 판단하여 파라미터에 따른 모델을 선택하기 위해서 사용되는 확률적 모델 선택 방법론(‘Probabilistic Model Selection’ or ‘information criteria’)이다. 두 방법의 장점으로는 K-fold CV처럼, 샘플 데이터를 설정하는 hold-out test set이 필요 없다는 장점이 있으나, 불확실성을 충분히 고려하지 않아 모델 선택 과정이 단순화 될 수 있다는 한계점 또한 존재한다.

0. Probabilistic Model Selection

• Model Performance

  How well a candidate model has performed on the training dataset.

• Model Complexity

  How complicated the trained candidate model is after training.

1. AIC

AIC = -2/N * LL + 2 * k/N

2. BIC

BIC = -2 * LL + log(N) * k

Reference

[1] Probabilistic Model Selection with AIC, BIC, and MDL

[2] AIC(Akaike information criterion)