１日7,000超のコンテンツ選別、読者へより良いコンテンツを届ける「コンテンツ予測」への取り組み

インターネットメディア事業を展開するヤフー株式会社では「Yahoo! JAPAN」トップページタイムライン上部に位置する半編成レコメンド枠に掲出する記事選出を、編集者による人手主体で行ってきました。
今回、より良いコンテンツをユーザーへお届けするとともに、人的リソースを補う目的でPrediction Oneを導入しました。その取り組みと導入のポイントについて、同社メディアグループメディア統括本部に所属する金子様、渡邉様に伺いました。

「Yahoo! JAPAN」トップページの記事選出にAIを生かす

業務におけるミッションを教えてください

主に「Yahoo! JAPAN」トップページに並ぶコンテンツの選別や品質管理を行っています。ユーザーに多様性を感じていただけるような編成にしたり、内容がガイドラインに触れていないかチェックしたりしている部門です。
また、ユーザーが普段見ていないジャンルのコンテンツをタイムラインに掲載することで、新たなコンテンツとの出会いを創出することを狙いとして「半編成レコメンド枠」という編成枠も取り扱っています。

どのようにコンテンツを出し分けしているのでしょうか？

「Yahoo! JAPAN 」のトップページには「Yahoo!ニュース トピックス」と言われるニュースが編成されています。これは全てのユーザーに同じコンテンツが表示される部分になります。その下に「レコメンド」と呼ばれるコンテンツが約400本並んでします。

「半編成レコメンド枠」のレコメンド枠は「Yahoo!ニュース トピックス」と「レコメンド」の間に掲載している記事を指しており、人がコンテンツを仕込んだ上で機械学習とルールベースのアルゴリズムとを組み合わせて提供する、半自動編成モジュールとなっています。ユーザーの興味関心に基づいたレコメンドと、世代別の人気コンテンツを組み合わせて作っている点が特徴です。

過去にAIツールは活用されてきたのでしょうか？

編集者が自分たちの手で操作するAIツールの導入は初めてになります。ユーザーへの記事掲出においては機械学習を用いてユーザーの興味関心に基づくレコメンドをしてきましたが、記事選出の改善は人が手探りで行っている部分があり、そこをより効果的にしたいというのが今回の導入動機になっています。

非エンジニアにとってもフレンドリーなUI

「Z AIアカデミア※」の講座を受けて、Prediction Oneをお知りになったと伺いました。導入に至るまでにどのようなプロセスがあったのでしょうか？

AIというと、専門性の高いエンジニアがコーディングして作成するイメージが強かったのですが「Z AIアカデミア」でかなり噛み砕いた説明がされ、かつPrediction One をトライアル利用したときに「使えそうだ」という印象を持ちました。これがPrediction Oneを利用するきっかけになったと思います。

「Yahoo! JAPAN」には、日々パートナー様からニュースだけで１日約7,500本の記事コンテンツを配信いただいています。この膨大なコンテンツの目利きと選別を限られた編成メンバーで行っている状況です。

一方で、チームメンバーにも得意不得意の分野があり、もちろん明るくない分野もあります。そこに対してAIで補えないかと考えました。あくまで人の業務を補う目的として、AI活用を考えています。

※「Z AIアカデミア」様での導入事例記事はこちらになります。

実際にPrediction Oneを触っていただいてどのように感じましたか？

「ユーザーフレンドリーなUIだな」というのが第一印象です。エンジニア経験はありませんが、感覚的に使い方がわかりますし、予測データや精度の詳細がしっかり出るので、PDCAが回しやすいと感じました。AIはブラックボックスのイメージが強かったので、そこが明確に見えるのはありがたいです。

また、マニュアルが充実しているところも大きいですね。わからなくなったときに、自分で調べて理解できるので。トライアルさせていただいたときに、もう「これを使おう」と社内で共通認識があり、ほとんど決め打ちで導入させていただきました。

どのようなテーマで分析されていらっしゃるのでしょうか？

今は若年層の女性を対象に、その方にマッチした、より良いコンテンツをお届けできるようコンテンツ予測を目指して、試行錯誤しています。具体的にランダムサンプリングをしたり、閾値を少し上げてみたりしているところです。

分析によるビジネス上のインパクトはいかがでしょうか？

具体的なビジネス上のインパクトというよりも「編成の幅が広がる」という表現が適切かと思います。現状は編成メンバー個人の経験値ベースでの作業になっているので、見落としてしまっているコンテンツもあるかと思います。例えば、私は30代男性ですが、女性向けのファッションや美容などの領域で、ユーザーが本当に望んでいるコンテンツを提供できているとは言い切れません。

そこを「AIが選択したから」ということがきっかけで、編成がチェックするようになると、編成の経験値自体も蓄積できますし、ユーザーが新たなコンテンツに触れる機会を提供できる幅も広がると思っています。

5人がトライアルで独自に試し、シェアし合うことで予測の幅を広げる

精度はどの程度出ているのでしょうか？

AUC（※２）は80％程度出ています。データ量がとにかく多いのでAUCは最初から高く出ていました。また、AUCだけでなくPrecision（※３）やRecall（※４）についても重要視しています。Accuracy（※５）はどれだけ正確に予測できているかを確認する指標ですが、今回の予測テーマは若年層の女性に対してより良いコンテンツを見つけるための予測であるため、あまり重視しませんでした。

一方で、可能性の高いコンテンツを絞り込んだり多く抽出したりする必要があるためPrecisionやRecallを重視しました。ただ、初期はPrecisionやRecallはかなり低めに出ていたので、少しずつ改善を行い、現在Precisionは約52%、Recallは約79％まで改善しています。

Prediction Oneを導入することによって、業務時間の負担は軽減されていますか？

編成作業におけるAI活用は、人間の作業の代替ではなくAIと人間の併用になるため、定量的にどれぐらい業務時間が軽減されたかお話しすることは難しいです。
ただ、人が今回の予測テーマと同様のことに取り組んだ場合、データベースからデータを加工、分析する一連の流れは時間にして数時間はかかり、データ量が増えればさらに時間を要します。また、こうして得た知見は、チームで共有はできるとはいえ、分析を行った当人だけの属人的なものになりがちになってしまいます。

しかし、Prediction Oneを使えばデータの加工から分析まで数分程度で終えることができます。また、データ量が増えても分析の手間が増えることなく、むしろ精度が上がっていきますし、モデルについてもチーム全員で共有可能です。将来的には、データ分析作業の一部にAIを併用させることでより効率化できるのではと考えています。

社内でのPrediction Oneの浸透具合はいかがでしょうか？

今回トライアルとしてAIへの感度の高いメンバーにアカウントを付与していますが、楽しく試させていただいていますね。週２回ほど集まって、それぞれが試してみたことを共有したりレビューし合ったりしていますが、僕が把握していないところでも、いろいろな分析を試していると思います。

また、Prediction Oneによって自然と共通言語がつくられていて、例えば「Recallがこうなっているからこうした方がいいね」といった話し合いができるところが非常にありがたいです。

導入のポイントは「めげない」「期待しすぎない」「積み重ね」

導入後、社内のAIに対する見方に変化はありましたか？

一個人としての感想で言えば、データを基にした施策への紐付きがより強くなりました。「このデータを入れたらどういうアウトプットが出せるか」というところから施策を考えるようになりました。
「この業務はこの予測を使うことができるんじゃないか」という発想の選択肢が変わったような印象を受けます。今後、全員が使えるようになるとパラダイムシフトが起こりうると思います。

AI活用のゴールイメージを教えていただけますか？

AI活用のモデルケースを作り、チームでの展開の足掛かりを作ることが当面の目標です。中長期的には、人とAIがそれぞれの強みを生かした編成によって、ユーザー体験をより良いものにすることを目指しています。

Prediction Oneを検討されている企業様へメッセージをお願いいたします

金子様：初日にめげないことが大事だなと思います。僕も最初はびっくりするくらい何もわからなかったのですが、御社にアドバイスをいただきながら気づきを得て、予測の仕方、Prediction Oneの有効な使い方を模索してきました。初めから諦めずに試行錯誤していくと、手応えのある数値にたどり着けるかもしれないと思います。

渡邉様：期待しすぎないことかなと思います。AIを使えば何でもできると思ってしまうと、精度がなかなか上がらないことに直面したときに必要以上にがっかりしてしまう。でも、AIを使っていくことでプラスワンを積み重ねることはできていきます。その積み重ねが最終的にすごく大きな前進になることもあるので、小さな一歩を積み重ねることを目指すのがいいかなと思っています。

• ※１　説明変数
  予測したい項目（目的変数）に対し根拠となりうる項目のこと。
• ※２　AUC
  「Area Under the Curve」の略称で二値分類の評価指標の一つ。一般的に100％に近いほど精度が高いとされる。
• ※３　Precision
  二値分類や多値分類で用いられる評価指標の一つ。予測モデルが正例（＝対象ユーザーにコンテンツがマッチしている）と予測した数のうち、実際に正例だった割合。一般的に、正例の可能性の高いものを効率的に絞りこんで予測したい場合に使う。
• ※４　Recall
  二値分類や多値分類で用いられる評価指標の一つ。実際に正例だった数のうち、予測モデルが正例と正しく予測できた割合。一般的に、正例の可能性があるものを取りこぼしなく予測したい場合に使う。
• ※５　Accuracy
  二値分類や多値分類で用いられる評価指標の一つで、学習モデルが予測した正解数をデータ数で割った値を指す。100％に近いほど良いとされる。