次に、実際の業務で正式利用する前に、事前検証をしましょう。
事前検証は、実際の業務フローへの組み込みを想定し、本番に近い環境で検証を行います。
ただし、実際の業務に大きな影響が出ないように、小さな規模で実施したり、予測結果を人間がチェックして利用します。
ここでは2つ例を挙げます。
予測結果から、 顧客リストの作成を行いました。
これまでは、顧客リストの上から順番に電話をかけていたとすると、この予測結果を利用するとコール施策の費用対効果があるのかをこのステップ2で検証します。
- (A) これまで通り、顧客リストの上から順番に電話する
- (B) 予測確率の高い順にソートして、上から順番に電話する
この(A)と(B)を行い、購入率の比較をして(B)の方が高いことが確認できればステップ3を検討します。
最初は失敗してもあまりビジネスに影響を及ぼさない一部の商材/サービスでのみ実験的に行い、効果を確認した上で、他の本命の商材/サービスにも展開していくと、周囲を説得しやすいです。
1週間先まで(ここでは2019/09/16 ~ 09/22)の 来店数を予測 しました。
このステップ2ではPrediction Oneの予測と人間の予測のどちらが精度が良いかを比較します。
まず、Prediction Oneでの予測結果を参考にせず、これまで通り人手で1週間先までの来店数を予測します。
1週間後、Prediction Oneでの予測結果と、人手で予測した結果を実績と照らして精度を確認します。
その後、またさらに1週間先までの来店数をPrediction Oneを使って予測します。今度は、その予測結果を参考にして人手で来店数を予測します。
1週間後、またPrediction Oneでの予測結果と、人手で予測した結果を実績と照らして精度を確認します。
これらを行い、Prediction Oneの予測結果が十分に使えるものかを確認します。
事前検証の結果を分析すると、データ準備や予測モデルの見直しや、追加の事前検証が必要になることもあります。その場合は、見直しや再度検証を行いチェックします。
これらの検証時、ステークホルダーに相談する必要が出てきたり、これまでより多くの関係者を巻き込むことが必要な場合があります。その場合はサマリ画面などから必要な情報をピックアップし、必要なポイントを記載した説明資料を作成すると良いでしょう。