情報漏れとは、予測モデル作成(学習)用データに本来は使用できない情報が含まれていたり、予測したい項目が分かる状態でないと判明しない情報を用いて予測モデルを作成することを指しています。

具体例を用いて、情報漏れを説明します。退会予測チュートリアルでは、退会予測をするためのデータセットの具体例として以下のようなデータを用意しています。

このチュートリアルでは退会するか否かを予測したいので「退会有無」が予測したい項目となります。

このデータに仮に「退会確認メールの送信」記録が存在したとします。

このデータを使って退会有無を予測すると、予測モデルの精度は非常に高いものとなります。 なぜならば、「退会確認メールの送信」は退会した人にしか行わないため、退会確認メールの送信のあり・なしの情報を用いて予測モデルを作成すれば、退会有無を簡単に予測することができるためです。

しかし、実際の運用場面では、退会確認メールを送信する前に退会する確率が高い人に対して何らかの施策を行います。 そのため「退会確認メールを送信」したという情報を使って退会有無を予測する予測モデルは実用上役に立ちません。 「退会確認メールを送信」したという情報はユーザーが退会してから初めて分かる情報であり、ユーザーが退会する前の段階では分からない情報だからです。

Prediction One で情報漏れを回避する

Prediction One は作成した予測モデルの性能が非常に高い場合、予測時には利用できない項目を使用していないか確認を促します。