一般的に予測分析では、データの傾向が学習時から変化すると良い予測が行えなくなる可能性があります。 これは、学習時に予測モデルがつかんだ入力データと予測項目の関係が予測時には使えなくなってしまうためです。
そのため、Prediction One で作成した予測モデルを長く用いていると、その間にデータの傾向が学習時から変化し、予測モデルの性能が低下してしまう可能性があります。

モデルの監視では、Prediction One で作成した予測モデルを 予測API を使って運用する場合に、 データの傾向変化が起きていないかを監視し通知できます。

傾向の変化を読み取る機能は、

• 項目の傾向変化 (ステップ1)
• 予測結果の傾向変化 (ステップ1)
• 予測精度の変化 (ステップ2)

に大別されます。以下では傾向の変化の大きさについて説明した後に、それぞれの機能についてご説明します。

傾向の変化を監視したくても、漠然とデータを見比べるだけではどの程度データが変化し予測モデルへの影響があるのか知ることは難しいです。
そのため、二つのデータ (例えば、学習時の入力データと予測時の入力データ) を比べて、それらの間にどれくらいの差異があるのか定量的に示す方法が必要になります。
二つのデータの差を定量的に表したものが「変化の大きさ」となります。

監視したい項目が数値の場合

監視したい項目が数値の場合は、変化の大きさとしてジェンセン・シャノン・ダイバージェンス (Jensen-Shannon Divergence, JSD) という指標を用いています。
JSDは二つのデータ分布の距離 (データ分布がどの程度離れているか、つまりどの程度異なるか) を測る方法としてよく使われる指標です。
Prediction One で採用しているJSDの計算方法の概要をあるグループAとグループBの体重を例に説明します。まずグループAとグループBの体重の取りうる範囲を10分割したヒストグラムを作成します。 これに加え、欠損値が入る場合も考慮して欠損値に関するビンも追加します。 この11本のヒストグラムの各ビン (例えば40kg～50kgのビン) について、そのビンの高さ (＝全体に占めるその範囲の割合) とグループAとグループBの平均からの違い (＝データ傾向の違い) を掛け合わせた数値を計算します。具体的には、40kg～50kgの割合がグループAでは高くグループBでは低い場合、このビンの数値は大きく計算されます。これを全てのビンについて計算し足し合わせたものがJSDとなります。
つまり簡単には、二つのデータについて各ビンの大きさが異なっているほどJSDの値が大きくなると言えます。

監視したい項目が文字列の場合

監視したい項目が文字列の場合は、変化の大きさとしてチェビシェフ距離 (Chebyshev distance) という指標を用いています。チェビシェフ距離もJSDと同じくデータの違いを測ることができます。
チェビシェフ距離とは、例えばあるサービスAとサービスBの性別の登録情報 (男性、女性、未登録) があったとき、サービスAとサービスBの各ビンの割合の差 (男性の割合の差、女性の割合の差、未登録の割合の差) の最大値のことです。
つまり、二つのデータについて最も割合の異なるビンの大きさの差がチェビシェフ距離として表れることになります。

項目の傾向変化は学習時の入力データと予測時の入力データを比べて、項目ごとに変化の大きさを算出しモデルの監視をする機能です。
その項目が、数値であればJSDが、文字列であればチェビシェフ距離が変化の大きさとして計算されます。 日時とテキストについては変化の大きさを算出することができません。

メッセージの種類

項目の傾向変化で出されるメッセージの種類は以下の通りです。

予測タイプが二値分類、多値分類、数値予測のどれであるのかによって、予測結果の傾向変化で算出される変化の大きさは異なります。以下でそれぞれご説明します。

二値分類

予測タイプが二値分類のときは、予測値として選択した対象の予測確率の傾向が、学習時と予測時においてどの程度異なるかを監視します。
この際の予測確率は数値ですので、JSDが変化の大きさとして計算されます。

多値分類

予測タイプが多値分類のときは、分類結果の傾向が、学習時と予測時においてどの程度異なるかを監視します。
この際の分類結果は文字列ですので、チェビシェフ距離が変化の大きさとして計算されます。

数値予測

予測タイプが数値予測のときは、予測値の傾向が、学習時と予測時においてどの程度異なるかを監視します。
この際の予測値は数値ですので、JSDが変化の大きさとして計算されます。

メッセージの種類

予測結果の傾向変化で出されるメッセージの種類は以下の通りです。

Prediction One では、正解データを後から登録することができます (正解の登録方法) 。
項目の傾向変化と予測結果の傾向変化は、予測モデルの性能低下の原因となりうる、データの傾向変化を監視する機能です。 しかし、正解が得られた場合は直接モデルの性能評価を行うことができるので、正解を登録し学習時と比べて予測モデルの性能がどうなっているのか確認することをお勧めします。

メッセージの種類

予測精度の変化で出されるメッセージの種類は以下の通りです。

ここまでモデルの監視には主に「項目の傾向変化」、「予測結果の傾向変化」、「予測精度の変化」の機能があることをご説明しました。
「予測精度の変化」は、正解を登録して直接的に予測時における予測モデルの性能を測ることができるため、最も信頼のできる評価方法と言えます。 しかし、実用上では正解データがすぐに得られることは少なく、この評価を常に行うのは難しいことも多いはずです。
一方、「項目の傾向変化」、「予測結果の傾向変化」は予測モデルの性能を直接的に測ることはできませんが、正解データを必要とせず傾向の変化を評価できるという利点があります。
そのため、正解データが得られない間は、「項目の傾向変化」、「予測結果の傾向変化」を活用して、予測モデルの性能低下の予兆がないか確認し、 正解が得られた際に実際に予測精度がどのように変化しているのか「予測精度の変化」を用いて確認することをお勧めします。

また、それぞれの機能で予測モデルの性能低下やその予兆が見られた場合は、再学習API を用いた予測モデルの再学習もできます。 最新のデータを学習させることで性能低下を防げる可能性があります。