交差検証の概要

　交差検証は Wikipedia では以下のように定義されています。

交差検証とは、統計学において標本データを分割し、その一部をまず解析して、残る部分でその解析のテストを行い、解析自身の妥当性の検証・確認に当てる手法を指す。

^{注：脚注リンク、括弧書きを削除してあります}

　
　トレーニング用データとテスト用データがお互いに交差することから交差検証と呼ばれます。すなわち全てのデータがトレーニング用、テスト用データとして使われるのでトレーニング、テストに偏りがない状態でモデル性能を評価できると言えます。
　
　『Rによる機械学習』の第3章、第4章に出てくるようなデータを二分割して一回のテストで算出された評価指標をモデル性能の検証に利用するホールドアウト検証は交差検証には分類しません。ホールドアウト検証は二分割したデータをそれぞれトレーニング用、テスト用として固定利用します。分割比率には\(7:3～8:2\)程度の比率が使わることが一般的です。
　

ホールドアウト検証と交差検証

　
　一方、交差検証は対象となるデータを任意に等分割し、トレーニング用データとテスト用データの組み合わせを順次変えて分割数分だけトレーニングとデータを繰り返します。その分、計算量は増えますが、データ全てがトレーニング、テストのどちらにも偏りなく、交差されて使われるのが特徴です。分割数には\(k = 10\)が使われることが一般的です。
　交差検証におけるモデル性能の評価は\(k\)回のテストで算出された\(k\)個の評価指標を平均した値を交差検証の評価指標とします。なお、評価指標については後述します。
　

　交差検証の中で広く知られているものとしては、

• k-fold交差検証（k分割交差検証）
• leave-one-out交差検証（LOO交差検証、一個抜き交差検証）

の二つがあります。上記以外にも様々な交差検証があります。
　

混同行列

　混同行列（Confusion Matrix）とは以下のような分類結果をまとめたクロス集計表のことです。混同行列を用いることで機械学習のモデルがどのようなモデル性能を持っているかが分かります。
　ちなみに混同行列は疾病の検査に関わる調査に起因してるようで陽性（Positive）、陰性（Negative）で分類されています。適期、自分が分かりやすい言葉に置き換えて考えると理解しやすくなるかもしれません。
　

　
　上記の混同行列は二値分類（二項分類）の場合です。多値分類の場合は行列の各方向に分類項目が増えるだけで考え方は同様です。混同行列の書き方には「Pridect/Actual」を「Actual/Predict」と転置させた書き方もありますので注意してください。
　この混同行列を利用してモデル性能を判定するための様々な評価指標が定義されています。

評価指標の定義

　評価指標は分類の目的に応じた評価ができるように様々な指標が定義されています。例えば『Rによる機械学習』の第4章で出てくるスパムフィルの場合、正しく分類できる割合が高い方がモデル性能が高いと言えます。一方、同書の第3章に出てくるがん細胞分類の場合、正しく分類できる割合が高いとしても「がん細胞を正常細胞と誤分類」してしまう割合が高いとがん患者を放置することになるためスパムフィルタとは異なる評価指標でモデルを評価する必要があることが分かります。
　主な評価指標には以下のようなものがあります。
　

¹ 「誤」発見ではなく「偽」発見が一般的のようです
² 適切な日本語が不明のため直訳しています

　
では、主な評価指標を簡単に解説します。

データの分割

　『Rによる機械学習』第3章のサンプルコード同様にトレーニング用データとテスト用データに分割しておきます。

wbcd_train <- wbcd[1:469, ]
wbcd_test <- wbcd[470:569, ]

set.seed(123)
ho_result <- caret::knn3Train(train = wbcd_train[, -1], test = wbcd_test[, -1],
                              cl = wbcd_train[, 1], k = 21) %>% 
   as.factor() %>% forcats::fct_relevel("M") %>% 
   caret::confusionMatrix(reference = wbcd_test$diagnosis)
ho_result

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  M  B
##          M 37  0
##          B  2 61
##                                           
##                Accuracy : 0.98            
##                  95% CI : (0.9296, 0.9976)
##     No Information Rate : 0.61            
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9576          
##                                           
##  Mcnemar's Test P-Value : 0.4795          
##                                           
##             Sensitivity : 0.9487          
##             Specificity : 1.0000          
##          Pos Pred Value : 1.0000          
##          Neg Pred Value : 0.9683          
##              Prevalence : 0.3900          
##          Detection Rate : 0.3700          
##    Detection Prevalence : 0.3700          
##       Balanced Accuracy : 0.9744          
##                                           
##        'Positive' Class : M               
## 

交差検証

　caret::train関数を用いて交差検証（cv）によりk近傍法（knn）における最適な近傍数（k）を\(1〜20\)の範囲から求めてみます。以降、常に結果が同じになるように乱数シードを指定しています。

set.seed(123)
train_result <- wbcd_train %>% 
   caret::train(diagnosis ~ ., data = ., method = "knn",
                tuneGrid = expand.grid(k = c(1:20)),
                trControl = caret::trainControl(method = "cv"))
train_result

## k-Nearest Neighbors 
## 
## 469 samples
##  30 predictor
##   2 classes: 'M', 'B' 
## 
## No pre-processing
## Resampling: Cross-Validated (10 fold) 
## Summary of sample sizes: 422, 422, 423, 422, 421, 422, ... 
## Resampling results across tuning parameters:
## 
##   k   Accuracy   Kappa    
##    1  0.9553134  0.9031275
##    2  0.9595205  0.9128038
##    3  0.9659073  0.9256349
##    4  0.9680793  0.9306694
##    5  0.9659073  0.9257318
##    6  0.9702089  0.9348913
##    7  0.9744642  0.9443481
##    8  0.9744642  0.9442407
##    9  0.9744180  0.9440507
##   10  0.9679887  0.9301264
##   11  0.9744180  0.9439333
##   12  0.9722441  0.9393240
##   13  0.9722903  0.9395140
##   14  0.9701627  0.9347651
##   15  0.9701164  0.9346762
##   16  0.9701164  0.9346762
##   17  0.9679887  0.9299273
##   18  0.9659054  0.9252251
##   19  0.9637778  0.9205773
##   20  0.9573023  0.9068185
## 
## Accuracy was used to select the optimal model using the largest value.
## The final value used for the model was k = 8.

　デフォルトの分割数は10なので、kの値一つあたり10回のトレーニング、テストを行い評価指標を算出しています。最終行にあるように正確度（Accuracy）を評価指標として最適モデルを選定した結果 k \(= 8\) を使っているモデルが最適となりました。
　
正確度（Accuracy）とkの値をプロットすると以下のようになり、kがある程度の値までは正確度が比例して上がり、ある程度を越えると反比例する傾向があることがわかります。

plot(train_result)

　では、この値（k \(= 8\)）でテスト用データを用いて最終評価をしてみます。

paste0("k = ", train_result$bestTune$k)

## [1] "k = 8"

set.seed(123)
caret::knn3Train(train = wbcd_train[, -1], test = wbcd_test[, -1],
                 cl = wbcd_train[, 1], k = train_result$bestTune$k) %>%
   as.factor() %>% forcats::fct_relevel("M") %>% 
   caret::confusionMatrix(reference = wbcd_test$diagnosis)

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  M  B
##          M 36  0
##          B  3 61
##                                           
##                Accuracy : 0.97            
##                  95% CI : (0.9148, 0.9938)
##     No Information Rate : 0.61            
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9361          
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 0.9231          
##             Specificity : 1.0000          
##          Pos Pred Value : 1.0000          
##          Neg Pred Value : 0.9531          
##              Prevalence : 0.3900          
##          Detection Rate : 0.3600          
##    Detection Prevalence : 0.3600          
##       Balanced Accuracy : 0.9615          
##                                           
##        'Positive' Class : M               
## 

　正確度（Accuracy）を評価指標に用いたデフォルトの交差検証ではk \(= 21\)のホールドアウト検証に比べると偽陰性が増えています。

評価指標の指定

　caret::train関数は前述のようにデフォルトでは正確度（Accuracy）を用いて評価します。これは評価指標を計算するサマリ関数としてcaret::defaultSummary関数が呼び出されているからです。

wbcd_train %>% 
   caret::train(diagnosis ~ ., data = ., method = "knn",
                tuneGrid = expand.grid(k = c(1:20)),
                trControl = caret::trainControl(method = "cv",
                                                summaryFunction = caret::defaultSummary,
                                                classProbs = FALSE),
                metric = "Accuracy")

　caret::defaultSummary関数を他の関数にすれば評価指標を変更することができます。caretパッケージには二値分割（二項分割）の評価のために以下のサマリ関数が用意されています。

　
　では、適合率（Precision、陽性的中率・PPV）を用いて交差検証を行ってみます。

set.seed(123)
train_result <- wbcd_train %>% 
   caret::train(diagnosis ~ ., data = ., method = "knn",
                tuneGrid = expand.grid(k = c(1:20)),
                trControl = caret::trainControl(method = "cv",
                                                summaryFunction = caret::prSummary,
                                                classProbs = TRUE),
                metric = "Precision")
train_result

## k-Nearest Neighbors 
## 
## 469 samples
##  30 predictor
##   2 classes: 'M', 'B' 
## 
## No pre-processing
## Resampling: Cross-Validated (10 fold) 
## Summary of sample sizes: 422, 422, 423, 422, 421, 422, ... 
## Resampling results across tuning parameters:
## 
##   k   AUC         Precision  Recall     F        
##    1  0.04947661  0.9530964  0.9248366  0.9380534
##    2  0.10172092  0.9609671  0.9310458  0.9446455
##    3  0.13727293  0.9826797  0.9251634  0.9519880
##    4  0.15635529  0.9777090  0.9366013  0.9555080
##    5  0.17081611  0.9769247  0.9307190  0.9521548
##    6  0.20317425  0.9818954  0.9366013  0.9578836
##    7  0.22535773  0.9818954  0.9483660  0.9641336
##    8  0.25414993  0.9885621  0.9428105  0.9639309
##    9  0.27751957  0.9881944  0.9424837  0.9637476
##   10  0.29475712  0.9826389  0.9310458  0.9548349
##   11  0.30195168  0.9937500  0.9366013  0.9635744
##   12  0.32512944  0.9881944  0.9366013  0.9607173
##   13  0.33691651  0.9885621  0.9369281  0.9609006
##   14  0.35379017  0.9885621  0.9313725  0.9576921
##   15  0.38751520  0.9881944  0.9310458  0.9576921
##   16  0.39270072  0.9881944  0.9310458  0.9576921
##   17  0.39909278  0.9881944  0.9254902  0.9544835
##   18  0.39952477  0.9881944  0.9199346  0.9512750
##   19  0.40528510  0.9881944  0.9143791  0.9482498
##   20  0.40415079  0.9759722  0.9084967  0.9397129
## 
## Precision was used to select the optimal model using the largest value.
## The final value used for the model was k = 11.

plot(train_result)

paste0("k = ", train_result$bestTune$k)

## [1] "k = 11"

set.seed(123)
caret::knn3Train(train = wbcd_train[, -1], test = wbcd_test[, -1],
                 cl = wbcd_train[, 1], k = train_result$bestTune$k) %>%
   as.factor() %>% forcats::fct_relevel("M") %>% 
   caret::confusionMatrix(reference = wbcd_test$diagnosis)

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  M  B
##          M 36  0
##          B  3 61
##                                           
##                Accuracy : 0.97            
##                  95% CI : (0.9148, 0.9938)
##     No Information Rate : 0.61            
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9361          
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 0.9231          
##             Specificity : 1.0000          
##          Pos Pred Value : 1.0000          
##          Neg Pred Value : 0.9531          
##              Prevalence : 0.3900          
##          Detection Rate : 0.3600          
##    Detection Prevalence : 0.3600          
##       Balanced Accuracy : 0.9615          
##                                           
##        'Positive' Class : M               
## 

　適合率（Precision）を評価指標に用いた結果、正確度（Accuracy）を用いて交差検証した結果と比べて偽陰性（FN）、偽陽性（FP）共に変化はありませんが、適合率（Precision）はkの値が増えると収束する傾向があるようです。

orgSummary <- function (data, lev = NULL, model = NULL) {
  if (is.character(data$obs)) {
    data$obs <- factor(data$obs, levels = lev)  # 文字の場合、因子化
  }
  conf.mat <- table(data$pred, data$obs)        # 混同行列の作成
  
  fpr <- conf.mat[1, 2] / sum(conf.mat[, 2])    # 偽陽性率
  tnr <- 1 - fpr                                # 真陰性率
  fnr <- conf.mat[2, 1] / sum(conf.mat[, 1])    # 偽陰性率
  tpr <- 1 - fnr                                # 真陽性率

  # `trainControl`関数の選択基準（`selectionFunction`）は"best"（最大値）か
  # "oneSE"しか選べないため、より小さい値を選択したい偽陽性率、偽陰性率では
  # 評価されませんので、それらを1から引いた真陰性率、真陽性率を使います。
  ret <- c('TPR' = tpr, 'FNR(1-TPR)' = fnr, 'TNR' = tnr, 'FPR(1-TNR)' = fpr)
  return(ret)                                   # 計算結果を返す
}

set.seed(123)
train_result <- wbcd_train %>% 
   caret::train(diagnosis ~ ., data = ., method = "knn",
                tuneGrid = expand.grid(k = c(1:20)),
                trControl = caret::trainControl(method = "cv",
                                                summaryFunction = orgSummary,
                                                classProbs = TRUE),
                metric = "TPR")
train_result

## k-Nearest Neighbors 
## 
## 469 samples
##  30 predictor
##   2 classes: 'M', 'B' 
## 
## No pre-processing
## Resampling: Cross-Validated (10 fold) 
## Summary of sample sizes: 422, 422, 423, 422, 421, 422, ... 
## Resampling results across tuning parameters:
## 
##   k   TPR        FNR(1-TPR)  TNR        FPR(1-TNR) 
##    1  0.9248366  0.07516340  0.9731034  0.026896552
##    2  0.9310458  0.06895425  0.9764368  0.023563218
##    3  0.9251634  0.07483660  0.9898851  0.010114943
##    4  0.9366013  0.06339869  0.9865517  0.013448276
##    5  0.9307190  0.06928105  0.9865517  0.013448276
##    6  0.9366013  0.06339869  0.9898851  0.010114943
##    7  0.9483660  0.05163399  0.9898851  0.010114943
##    8  0.9428105  0.05718954  0.9932184  0.006781609
##    9  0.9424837  0.05751634  0.9932184  0.006781609
##   10  0.9310458  0.06895425  0.9897701  0.010229885
##   11  0.9366013  0.06339869  0.9965517  0.003448276
##   12  0.9366013  0.06339869  0.9931034  0.006896552
##   13  0.9369281  0.06307190  0.9931034  0.006896552
##   14  0.9313725  0.06862745  0.9931034  0.006896552
##   15  0.9310458  0.06895425  0.9931034  0.006896552
##   16  0.9310458  0.06895425  0.9931034  0.006896552
##   17  0.9254902  0.07450980  0.9931034  0.006896552
##   18  0.9199346  0.08006536  0.9931034  0.006896552
##   19  0.9143791  0.08562092  0.9931034  0.006896552
##   20  0.9084967  0.09150327  0.9863218  0.013678161
## 
## TPR was used to select the optimal model using the largest value.
## The final value used for the model was k = 7.

plot(train_result)

paste0("k = ", train_result$bestTune$k)

## [1] "k = 7"

set.seed(123)
caret::knn3Train(train = wbcd_train[, -1], test = wbcd_test[, -1],
                 cl = wbcd_train[, 1], k = train_result$bestTune$k) %>%
   as.factor() %>% forcats::fct_relevel("M") %>% 
   caret::confusionMatrix(reference = wbcd_test$diagnosis)

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  M  B
##          M 35  0
##          B  4 61
##                                          
##                Accuracy : 0.96           
##                  95% CI : (0.9007, 0.989)
##     No Information Rate : 0.61           
##     P-Value [Acc > NIR] : 2.387e-16      
##                                          
##                   Kappa : 0.9143         
##                                          
##  Mcnemar's Test P-Value : 0.1336         
##                                          
##             Sensitivity : 0.8974         
##             Specificity : 1.0000         
##          Pos Pred Value : 1.0000         
##          Neg Pred Value : 0.9385         
##              Prevalence : 0.3900         
##          Detection Rate : 0.3500         
##    Detection Prevalence : 0.3500         
##       Balanced Accuracy : 0.9487         
##                                          
##        'Positive' Class : M              
##