「4 精度を確かめる」には、

• 4.1 作成した予測モデルの精度と目標としていた精度を比べる
• 4.2 寄与度を確認する

のステップがあるのか。まずは「4.1 作成した予測モデルの精度と目標としていた精度を比べる」と……。ああ、「1.2 予測分析で解きたい課題を設定する」で設定した目標と今回作成した予測モデルの精度を比べればよいのか。一応細かいタスクも見てみよう。


「4.1.1 目標に即した予測モデルの精度を確認/算出する」によると、個別のユースケースに即した評価指標は自ら計算する必要があるようだ。今回は「誤差平均」を指標にしたが、これはPrediction Oneが自動で算出する精度指標に含まれているから問題なさそうだ。

精度もわかったから次は「4.1.2 目標としていた精度を比べ予測モデルの精度が十分であることを確認する」だ。予測モデルだと誤差平均は3.6日で外注している予測モデルと比べると……。
あれ、よく考えたらPrediction Oneでの評価方法と外注の予測モデルの評価方法は一致しているのだろうか。Prediction Oneで出てくる誤差平均をそのまま比較に使ってよいのか……？そもそも今回はどういう評価をすればよいんだっけ……。
そうだ、こういう時は「予測分析の基礎知識」を参考にしよう。ちょうど「評価用データの選び方」という章があるぞ。


なるほど……。評価方法にもいろいろ種類があるのか。今回の工期予測は市況によってトレンドの変化はあると思っている。だからランダムに評価データを選ぶのは良くないみたいだ。よし、そうしたら外注の予測モデルの実際の性能を測るときに用いた直近半年のデータを評価用データにして、それより前のデータを学習用データにしよう。そうすれば「本番と近い状況」を再現できるし、Prediction Oneの予測モデルと外注の予測モデルを同じ評価用データで評価できるからフェアな比較ができるぞ。