4.1 予測モデルの精度と目標としていた精度を比べる

予測モデルを作成するとPrediction Oneでは自動で評価も行います。二値分類や数値予測などそれぞれの予測タイプごとに代表的な評価指標が算出されますが、「1.2 予測分析で解きたい課題を設定する」で明文化した精度目標で使用した指標が、自動で算出された評価指標にない場合は、それを自ら計算する必要があります。Prediction Oneでは評価用データと評価用データに対する予測結果を出力できるのでそれらを用いて成功条件で使用した評価指標を算出しましょう。
評価において大事なのは目標に対してどの程度の精度を達成できているかです。目標と同程度以上の精度であれば予測モデルの改善よりも予測までのステップを一度行いましょう。一方精度が目標を下回っている場合は予測モデルの改善を行いましょう。

タスク

  • 4.1.1 目標に即した予測モデルの精度を確認/算出する
  • 4.1.2 目標としていた精度を比べ予測モデルの精度が十分であることを確認する

4.1.1 目標に即した予測モデルの精度を確認/算出する

こちらのマーケティングの例では精度目標を、評価用データに対する予測で「成約の予測確率が高い上位500人の顧客のうち70%が成約」と設定しました。Prediction Oneでは自動で評価用データに対する精度指標を算出しますが、このような個別のユースケースに即した評価指標は自ら計算する必要があります。Prediction Oneでは評価データと評価データに対する予測結果を出力できるので、評価データに対する予測において成約確率上位500人に絞って成約率が何%なのか確認しましょう。
ご自身が「1.2 予測分析で解きたい課題を設定する」で設定した精度目標をPrediction Oneの画面で確認、または自ら算出しましょう。

4.1.2 目標としていた精度を比べ予測モデルの精度が十分であることを確認する

1.2 予測分析で解きたい課題を設定する」で明文化した精度目標で使用した指標を今回作成した予測モデルについて算出できたら、精度目標と比べて精度が十分なのかどうか判断しましょう。
目標と同程度以上の精度であれば予測モデルの改善よりも予測までのステップを一度行いましょう。

精度が十分でなかった場合は以下の対応策も参考に予測モデルの改善に取り組みましょう。
十分な精度が出なかった場合

まとめ

以下はこのページで行うべきタスクの再掲です。これらのタスクが終わったら次へ進みましょう。

  • 4.1.1 目標に即した予測モデルの精度を確認/算出する
  • 4.1.2 目標としていた精度を比べ予測モデルの精度が十分であることを確認する

次のステップ:「4.2 寄与度を確認する」
このページの情報は役に立ちましたか?
PAGE TOP

お問い合わせ・資料はこちらから

資料ダウンロード お問い合わせ 体験版