Prediction One を実際に業務に導入しようとするとき、精度の良い予測モデルを作成して終わりではなく予測精度や寄与度を資料にまとめて関係者に報告することが必要になる場合があります。資料の準備には時間がかかりますし、他者に分かりやすく説明をするためにデータやモデルについての詳細を理解する必要があります。
このような時に活用できるのが、本資料で紹介する説明資料生成機能です。説明資料生成機能は作成した予測モデルに関する情報を自動でスライドに出力します。本資料ではこの機能によってどのような資料が生成されるのかをご説明します。
アプリ内での本機能の使用方法については説明資料生成機能の画面操作と説明をご参照ください。
このセクションには「学習用データのサマリ」、「データの詳細」、「入力項目と予測対象の関係」の 3 種類のページが含まれます。
予測モデルの学習に使用されたデータの概要が表示されています。表示される情報を以下に列挙します。これらはアプリ上の「モデルの詳細タブ」に表示されている情報の一部です。
予測モデルの学習に使用されたデータについて、学習用データのサマリよりも詳細な項目情報を表にまとめています。サマリページに記載されている項目名、データタイプ、ユニーク数、欠損、相関に加えて、以下の 2 つの項目を表示しています。
データをより良く理解するために、入力項目と予測対象との間にどのような関係があるのかを算出しています。予測タイプごとに適切なグラフと説明文を表示しています。
二値分類、数値予測
入力項目を複数組み合わせた時に予測対象とどのような関係性にあるのか、独自のモデルを使用して算出しています。項目が多く存在するとき様々な組み合わせと関係性が導かれますが、特に予測した項目への影響が大きいものをスライド上に出力しています。説明資料中ではそれらの関係性のことを「ルール」と呼んでいます。あるルールに該当する場合と該当しない場合とで予測したい項目にどのような違いが現れるかを定量的に示し、文章とグラフとで表現しています。ルールを寄与度等と合わせて解釈することによりデータに対する理解が深まると期待できます。
多値分類
1 つの入力項目と予測対象との関係をグラフとインサイトの文章で説明しています。入力項目は関連度スコアが高いものから選択されます。入力項目が文字列型の場合、その入力項目のなかで出現頻度の最も高い5 種類の値の分布を予測対象のごとに計算しています。グラフの見方を具体的に説明すると、例えば下図の例の場合、「故障タイプ（予測対象）」が「電源・接続」である学習データのうち、「故障個所」が「ディスプレイ」であるデータが約 20 %, 「電源」であるデータが約 80 ％, 「ボタン」であるデータが約 0 ％となります。
入力項目が数値型の場合、予測対象ごとに入力項目の平均値を比較するグラフとインサイトを提示します。
いずれの場合でも予測対象の値は学習データ中の出現頻度が高い順に最大 8 種類まで表示されます。インサイトの文章ではグラフから読み取れるポイントを最大 2 つ列挙しています。
時系列予測
時間の経過とともに予測対象がどのように変化するのか、グラフとインサイトの文章で説明します。横軸に時刻をとり、時間経過とともに増加傾向なのか、減少傾向なのか、横ばい傾向なのかを提示します。
なお、データによってはこれらの入力項目と予測対象との関係を求めることができないこともあり、その場合にはスライド上に「ルールを作成できませんでした」「インサイトを生成できませんでした」等のエラーメッセージが表示されます。
このセクションにはアプリ内の「精度」タブに表示される内容の一部がまとめられています。予測タイプに依らず共通して含まれるページは「精度評価」ページで、精度評価値の表、精度を評価した文章と評価指標の説明文が記載されています。
精度評価の文章は LLM (大規模言語モデル)を使用して生成されており、誤った内容を含む場合もあるため、慎重にご活用ください。LLM についてはLLM (大規模言語モデル) の利用についてをご参照ください。
「精度」セクションの他のページについては、予測タイプによって評価方法が異なるため、資料に含まれるページも各々で異なります。
「寄与度」セクションにはアプリ内の「寄与度」タブに表示される内容の一部がまとめられています。具体的には「項目の寄与度」、「寄与度の構成」ページが含まれています。
すべての予測タイプに共通して「項目の寄与度」ページが寄与度セクションに含まれます。「項目の寄与度」ページには予測寄与度のグラフと寄与度の要約と解釈、さらに寄与度の説明文が記載されています。寄与度のグラフは「寄与度の詳細」タブの「寄与度の合計値」のグラフと同様のものを表示しています。
寄与度の要約と解釈は LLM によって生成されており誤った内容を含む可能性があるため、慎重にご活用ください。LLM についてはLLM (大規模言語モデル) の利用についてをご参照ください。
「寄与度の構成」ページには各項目の値ごとの寄与度も含むより詳細な結果を確認することが出来ます。ただし予測タイプによって表示される内容が異なります。
本セクションには時系列予測以外では「予測結果の傾向」、「項目の傾向変化」のページが含まれます。時系列予測の場合には「予測結果の傾向」ページのみが含まれます。
このページでは予測用データを用いて予測を行ったときにその結果が学習時の評価結果と比較して何か傾向の変化はあるか、もしあるならばどのように変化しているかを説明します。
グラフは学習時と予測時とで予測結果を比較したもので、予測タイプごとに意味が異なります。二値分類の場合は予測したい値の予測確率を、多値分類の場合は各クラスに当てはまると予測されたデータの割合を、数値予測の場合はある範囲に予測値が含まれるデータの割合を示します。
予測結果の傾向が大幅に異なっている場合精度も変化している可能性があるのでモデルの再学習を検討してみましょう。
なお時系列予測の場合は傾向の変化を棒グラフでなく、時系列の折れ線グラフで図示します。また、学習時と予測時の予測結果の比較の文章は作成されません。
このページでは学習時と予測時とで学習に使用した項目の傾向に変化がないかを説明します。学習時と比較して傾向が大幅に変化している項目がある場合、その時点で作成した予測モデルでは正確に予測できなくなっている可能性があるので注意が必要です。
スライド上のグラフと「変化最大の項目」は最も傾向変化の大きい項目の学習時と予測時との比較について説明しています。
時系列予測の場合はこのページは生成されません。
