現場でのAI活用の促進を目的にPrediction One活用勉強会を実施

「感覚的に使っていて、現場への根拠ある説明ができない…」
分析担当者が抱えていた課題

Prediction Oneは専門知識がなくても使いやすいという点で、2020年から導入

東急カード様では、データ分析における専門的な知識を有した人材が限られているため、担当社員の方が0ベースで勉強しながら分析業務を行われていました。Prediction Oneは専門知識がなくても使いやすいという点で、2020年から導入いただき、マーケティングや業務効率化の視点で様々なモデル作成、業務活用に取り組まれています。「操作が直感的で新規担当者でもすぐにモデル作成に取り組むことができます。」と担当者は語ります。

モデルをつくっても、現場で活用されていない

ただ、活用が成功しているケースもある一方、一部の施策では上手く活用されていないということもありました。特に「モデルを作成してから、現場で活用されていない。」ことをお悩みとしてご相談いただきました。「モデルの精度は悪くないものの、結果について現場担当者の納得感を得られず、実運用で活用してもらえないケースがあった。」と言います。

現場の納得感を得るため、分析担当者の予測分析に対する理解度向上を目指す

この課題を解消するために、東急カード様ではまず、分析担当者の予測分析に対する理解度向上が必須だと考えました。分析担当者がモデル評価を適正に行い、現場担当者へ説明できるようになることで、現場が納得し、モデル活用を進めることができます。そのためにPrediction Oneについて深く理解する機会を求めていました。

そこで今回の勉強会では、ソニーのデータサイエンティストが講師を務め、予測モデルの精度評価の見方や、今まで実施していなかった分析方法について解説しました。

受講したのは分析を担う同社DX推進部DX企画課の方々で、導入当時から関わってきた方や現在運用をメインに担当している方、セミナーは受講したが実際にはあまり触っていない方など、当初の理解度に濃淡はありましたが、チーム単位で実施されることで、共通言語も増えたようです。

勉強会レポート

二値分類の評価指標はどう使い分ける？

実際のPrediction Oneの画面を使ってデモを実施するにあたり、状況を仮定して話が進みます。今回は「コール施策の費用対効果を改善したい」というマーケティング部門におけるコール施策のコンバージョン率向上を目標とする事例が示されました。

この課題に対し、顧客情報と購入データを用いてモデルを作成していきます。データ読み込みの仕方から、変数の入れ方、関連度の見方などを実際の画面を使いながら説明しました。

デモを実施後「混同行列とは何か？」といった用語の説明から、マトリクスや「正解率（Accuracy）」「適合率（Precision）」「再現率（Recall）」「F値（F-measure）」の精度評価値の見方についてそれぞれ解説を行い、利用シーンに応じた使い分けをお伝えしました。

よく使う指標として「適合率（Precision）と再現率（Recall）の使い分け」についても、例えを使ってその違いを詳しく述べました。

「“イワシ漁”をイメージしてください。狙った獲物であるイワシを外れ少なく釣りあげたいときには、適合率（Precision）が有効です。一方で、一気に網で捕らえて、イワシが最大量になれば、他の魚が入っていても問題ないという考えのもと行うのであれば、再現率（Recall）が有効です。この2つの数値は、どちらかが増えるとどちらかが減ることになります」（弊社担当講師）

「絞り込み」なら適合率（Precision）か「見逃しをしない」なら再現率（Recall）

その他、予測確率の分布図、ROCカーブ、AUC、寄与度についても、その見方や「これらの値がどうなっていればモデル精度が良いのか」といった判断基準も改めてお伝えし、受講者からは適宜質問が投げかけられながら進行していきました。

入電数予測における数値予測と時系列予測の違いとは？

二値分類の解説後、多値分類、数値予測、時系列予測と順にデモを交えながら解説を行い、数値予測と時系列予測では、分析の使い分けや評価指標の選び方を説明しました。

事例に使われた「入電数予測」で「数値予測と時系列予測の違いは何か？」という質問については以下のように回答しました。

「時系列予測は季節性、周期性の特徴をとらえやすいため、年次や月次で決まった傾向がある場合、精度が上がりやすいと考えることができます」（弊社担当講師）

「見直すべき箇所が明らかになり、モデル改善や新モデル構築に役立てられそう」

時系列予測に必要な学習期間や、説明変数の例、精度を評価する基準値について説明後、モデルの詳細設定、データの前処理・加工へと進みました。

東急カード様では「感覚的なモデル作成に留まり、現場で活用されていない」という課題感から、分析担当者が予測手法とその結果を現場担当者に説明できるレベルまで理解を深めることが今回の目的でした。

その他にも、予測テーマのデータ量や説明変数の洗い出しが十分でなかったことなど、現場活用に至っていない原因も明らかになりました。最後に勉強会実施後、参加者の方から感想をいただきました。

まとめ

基礎的な部分からレクチャーを実施することで満足感が高い結果になった

東急カード様ではマーケティングや業務効率化で活用いただいている一方で、モデル作成の部分で、モデル精度は悪くないけれども現場担当者の納得感を得られずに施策で活用してもらうことができないといった課題がありました。

今回の勉強会を通して分析担当者がモデル評価を適正に行い、現場担当者へ説明をできることが目的となっており、基礎的な部分からレクチャーを実施することで満足感が高い結果になったと思います。東急カード様でPrediction Oneの活用を予定している施策に向けて、引き続きサポートを継続させていただきます。

ソニーでは、それぞれの企業の課題や理想像に即したAI活用・人材教育・PoC・現場運用を包括した支援を行っております。Prediction Oneの使い方を見出し、適切なPDCAサイクルの下で実践できるよう支援していくことを目指し、AI活用を推進するべく、支援してまいります。