タイタニック号で機械学習の交差検証(クロスバリデーション)を学ぶには【sklearn Cross-validation】

タイタニックのサバイバルデータで機械学習(Machine Learning)シリーズは次の８つの記事から構成されています。 機械学習に興味のある方は以下に掲載されている記事を順番に読むことをおすすめします。

• タイタニック号で機械学習の基本を学ぶには【Machine Learning】
• タイタニック号で機械学習のデータ分析を学ぶには【DataFrame.plot+Seaborn】
• タイタニック号で機械学習のデータ分析を学ぶには【Matplotlib】
• タイタニック号で機械学習のデータラングリングを学ぶには【Data Wrangling】
• タイタニック号で機械学習の交差検証(クロスバリデーション)を学ぶには【sklearn Cross-validation】
• タイタニック号で機械学習のパイプライン(Pipeline)を学ぶには【sklearn Pipeline】
• タイタニック号で機械学習のGridSearchCVを学ぶには【sklearn GridSearchCV】
• タイタニック号で機械学習のRandomizedSearchCVを学ぶには【sklearn RandomizedSearchCV】

この記事では機械学習(ML: Machine Learning)で複数のモデルを効率的に評価できるクロスバリデーション(Cross-Validation)の使い方について解説します。 機械学習でモデルを評価するには学習用のデータを何等分かに分割して複数回学習させてそれぞれのスコアの平均値・中央値をそのモデルの評価とします。

これら一連の処理をPythonで記述すると以下のようになります。 行2-3ではデータを取り込んでいます。 行6-7ではデータを学習用とテスト用に分割しています。 ここでは学習用とテスト用を「7対3」の比率で分割させています。 行11-13では学習させてモデルのスコアを取得しています。 複数回学習させるには(2)と(3)の処理を繰り返す必要があります。

# 1) Load the data
from sklearn.datasets import load_digits
digits = load_digits()    

# 2) Split the data
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.3)

# 3) Fit & Score    
from sklearn.linear_model import LogisticRegression
model = LogisticRegression(solver='liblinear', multi_class='ovr')
model.fit(X_train, y_train)
model.score(X_test, y_test)

Skleanはデータの分割とモデルの評価を効率的に行うために「KFold」と「cross_val_score」を用意しています。 KFoldを使用するとデータをK等分に分割してモデルを評価することができます。 行2ではKFoldでデータを3回分割するように指定しています。 行4-5では配列(1-9)のデータにKFoldを適用して3回分割させています。 配列のデータは行7-9のように分割されます。

from sklearn.model_selection import KFold
kf = KFold(n_splits=3)

for train_index, test_index in kf.split([1,2,3,4,5,6,7,8,9]):
    print(train_index, test_index)

# [3 4 5 6 7 8] [0 1 2]
# [0 1 2 6 7 8] [3 4 5]
# [0 1 2 3 4 5] [6 7 8]

データを3回分割させて学習＆評価を行うには、次のような処理が必要になります。 行1-2ではKFoldを設定しています。ここではデータを3回分割するように設定しています。 行4-10のforループではデータの分割、学習、評価の一連の処理を行っています。 評価の結果は行12-14のように表示されます。

from sklearn.model_selection import KFold
kf = KFold(n_splits=3)

for train_index, test_index in kf.split(digits.data, digits.target):
    X_train, X_test, y_train, y_test = digits.data[train_index], digits.data[test_index], 
                                       digits.target[train_index], digits.target[test_index]   
    model = LogisticRegression(solver='liblinear', multi_class='ovr')
    model.fit(X_train, y_train)
    score = model.score(X_test, y_test)    
    print('score=', score)

# score= 0.8964941569282137
# score= 0.9515859766277128
# score= 0.9115191986644408

ここではデータの分割、学習、評価の一連の処理をCross-Validationを利用して行っています。 さらに、3つのモデル(LogisticRegression, SVC, RandomForestClassifier)を同時に評価しています。 行1ではKFoldに5回データを分割するように設定しています。 行3-5では評価するモデルを定義しています。 ここでは「LogisticRegression, SVC, RandomForestClassifier」の３種類のモデルを評価します。

行7-15では関数「model_fit()」を定義しています。 この関数ではデータの分割、学習、評価を行ってスコアを表示しています。 行17では関数を呼び出しています。 スコアは行19-27のように表示されます。 それぞれのモデルが５回評価されていることが分かります。 Cross-Validationの概念については図Fを参照してください。

評価にバラツキがあるときは、「KFold」の代わりに「StratifiedKFold」を使用します。

kf = KFold(n_splits=5, shuffle=True, random_state=0)

clf = [LogisticRegression(solver='liblinear', multi_class='ovr'),  # 0
       SVC(gamma='auto'),                                          # 1
       RandomForestClassifier(n_estimators=40)]                    # 2

def model_fit():
    for i in range(len(clf)):
        score = cross_val_score(clf[i], X_train, y_train, cv=kf, n_jobs=1, scoring='accuracy')      

        print(f'Score of Model({i}):', 
            '{0:.2f}'.format(round(np.mean(score)*100, 2)), clf[i].__class__.__name__)
        
        print('Cross-validation scores:', score)                    
        print('-'*80)

model_fit()

# Score of Model(0): 96.58 LogisticRegression
# Cross-validation scores: [0.975      0.95833333 0.9625     0.9748954  0.958159  ]
# --------------------------------------------------------------------------------
# Score of Model(1): 33.65 SVC
# Cross-validation scores: [0.27916667 0.26666667 0.35416667 0.42259414 0.35983264]
# --------------------------------------------------------------------------------
# Score of Model(2): 97.16 RandomForestClassifier
# Cross-validation scores: [0.97916667 0.975      0.9625     0.9748954  0.9665272 ]
# --------------------------------------------------------------------------------

最近よくAI(Artificial Intelligence)、ML(Machine Learning)、DL(Deep Learning)という言葉を聞きますが、 AIはMLとDLを含んだ総称です。 そしてMLはDLを含んでいます。 そしてDLはNeural Networks(ニューラルネットワーク)を使用しています。 MLとDLはAIのサブセットということになります。 DL(Deep Learning)については「記事(Article028)」で詳しく解説しています。

ML(Machine Learning)は、Supervised Learning, UnSupervised Learning, Reinforcement Learningの３つに分類されています。 それぞれのタイプの概念は図(B, C, D)を参照してください。 そしてSupervised LearningはアルゴリズムによりReguression, Classfication, Clusteringの３つに分類されています。 それぞれのアルゴリズムの種類は図(E)を参照してください。

今回予測するのは、 タイタニック号の乗船客が「生存するか」「死亡するか」の２択ですから、 MLのClassficationのアルゴリズムを利用することになります。 ここではClassficationの8種類のアルゴリズム (KNeighborsClassifier, DecisionTreeClassifier, RandomForestClassifier, GaussianNB, SVC, ExtraTreeClassifier, GradientBoostingClassifier, AdaBoostClassifier) を使用して乗船客の生死を予測します。

ML(Macine Learning)を使用して予測するとき、予測するデータの属性によりアルゴリズム（モデル）の評価方法が異なります。 「記事(Article056)」で解説した売上データからお客さんが商品を「買う、買わない」といった予測では、 accuracy_score(正解率)で予測値を評価してもとくに問題はありません。 ところが、今回のタイタニックのような人間の「生死」を予測するケースでは、accuracy_score(正解率)だけで予測を評価することはできません。 たとえば、モデルが「死亡する」と予測して、その予測が外れてもとくに問題にはなりません。 ところが、モデルが「生存する」と予測して、その予測が外れると「死亡」するということになるので問題になります。 このような場合は、モデルの予測値を４パターンに分けて評価する必要があります。 MLはこれら４パターンの評価情報を取得する方法としてclassification_report()とconfusion_matrix()メソッドを用意しています。

「初級」編では、データの取り込み、データの分析(可視化)、学習、予測、予測評価の順番に説明します。 「予測評価」では、予測を評価するための情報を取得する３種類の方法(メソッド)を解説します。 さらに、なぜclassification_report(), confusion_matrix(), accuracy_score()の３種類のメソッドが用意されているのか、 そして、これらのメソッドで取得した評価情報をどのように活用するのかについても説明しています。

「中級」編では、Pandas、Matplotlibを使用したデータ分析を詳しく解説しています。 データを分析するには可視化することが重要ですが、Pandasのplot()メソッドを使用する簡単にデータを可視化することができます。 さらにMatplotlibを使用するとグラフを見栄えよくする、見やすくする、グラフにさまざまな補足情報を表示するといったことが可能になります。

「上級」編では、複数のアルゴリズム（モデル）を使用して実際に予測して、予測を評価する方法について解説しています。 予測値を調整するには、モデルにさまざまなパラメータを追加して、さらにパラメータの値（範囲）も同時に調整する必要があります。 これらを効率的に行う方法としてPipelineを使用したGridSearchCV()、RandomizedSearchCV()メソッドについて解説しています。 RandomizedSearchCV()を使用すると、モデルにどのようなパラメータを追加すると予測が改善するかを効率的に行うことができます。 さらに、GridSerachCV()を使用すると、モデルのパラメータの値（範囲）の調整を効率的に行うことができます。

ここではVisula Studio Code(VSC)の「Python Interactive window」 を使用してJupter Notebookのような環境で説明します。 VSCを通常の環境からインタラクティブな環境に切り換えるにはコードを記述するときコメント「# %%」を入力します。 詳しい、操作手順については「ここ」 を参照してください。 インタラクティブな環境では、Pythonの「print(), plt.show()」などを使う必要がないので掲載しているコードでは省略しています。 VSCで通常の環境で使用するときは、必要に応じて「print(), plt.show()」等を追加してください。

この記事では、Pandas、Matplotlibのライブラリを使用しますので 「記事(Article001) | 記事(Article002) | 記事(Article003) | 記事(Article004)」 を参照して事前にインストールしておいてください。 Pythonのコードを入力するときにMicrosoftのVisula Studio Codeを使用します。 まだ、インストールしていないときは「記事(Article001)」を参照してインストールしておいてください。

説明文の左側に図の画像が表示されていますが縮小されています。 画像を拡大するにはマウスを画像上に移動してクリックします。 画像が拡大表示されます。拡大された画像を閉じるには右上の[X]をクリックします。 画像の任意の場所をクリックして閉じることもできます。

---

Cross-Validationを使用して複数のモデルを評価する