AIがユーザーの感情を推定し、商品や情報を推奨する

藤原今回の、AIを使ってユーザーの感情を推定したサブウェイ様との実証実験では、大きな反響がありましたが、そもそもOKIの中でこのソリューションのアイデアを考えたのは誰なのか、その経緯を含めて、聞かせてください。

赤津ATMに代表される不特定多数の人が使う公共端末市場で実績を持つOKIでは、以前から人間特性に基づくユーザーインタフェース技術の研究開発に注力していました。その後、年齢や性別、言語などの違い、身体的障がいの有無などに関係なく誰でも簡単に使いこなせるというユニバーサルデザイン（UD）へと進化しました。
近年ではユーザーの行動を認識・分析することでユーザーの望むことを楽しく、心地よく提供するという感情面でのユーザーエクスペリエンス（UX）の概念が定着しています。
そこで、私たちイノベーション推進センター（IPC）では、UXの一環として、システムや端末のユーザーの自然な振る舞いから、ユーザーが望むことを予測して、望む形を提供し、結果的に顧客満足度を高めるという技術の研究開発を進めてきました。その中で、実際に操作に困っている、提示される多くの情報からどれを選択するか迷っている、急いでいるなどといったユーザーに対して、ユーザーの困りごとや興味・関心という感情を推定し、その時の感情に最適な商品や情報をレコメンド（お薦め）するソリューションを検討しはじめたというのが、大まかな経緯です。

藤原そういうアイデアは、赤津さん自身が生活の中でシステムや端末操作で不便に感じたとか、どういった困りごとから導き出されたものなのでしょうか？

赤津私自身、慣れないシステムの操作で悩むことは日常茶飯事です。また、駅や空港などでは、発券機を慌てて操作するもののうまくいかずに困っている人などをよく見かけます。さらに、ファーストフード店舗などへのヒヤリングでは、オーダー端末で後ろに人が並ぶとプレッシャーでなかなか決められない顧客が多いので、「レコメンド機能がある端末があれば使ってみたい」という意見もありました。そういった私自身の経験や、接客現場の声などから生まれた発想です。

藤原実際、ファミレスやファーストフードなどのオーダー端末の場合、店舗側は現状どのような問題を抱え、それをどう解決したいと思っているのでしょか？

赤津オーダー端末に限らず公共端末全般に共通することですが、ユーザー自身が望むメニューや情報になかなかたどり着けない場合、すぐに操作を止めてしまうという問題が一番でしょうね。
一方、店舗側としては、できるだけ時間をかけず簡単にオーダーを完了させたいと思う反面、メニューはできるだけ多く提示したいというジレンマを抱えています。また、先にオーダーするファーストフードと、席でオーダーするファミレスなど店舗の運営形態によってもオーダー端末の操作方法やメニューの表示方法なども異なってきます。
今回のサブウェイ様の場合は、オーダーの仕方が独特で、ドレッシング・ソース、トッピングなどの選択肢が豊富で、操作が複雑になってしまいます。そこで、セルフオーダー端末にメニューが自動でパラパラ展開する過程で、搭載されたカメラから得たユーザーの表情や視線センサーから得られた視線データを元に、ユーザーの興味・関心度といった感情を推定することで3つのレコメンドメニューを表示し、その中から選んでいただくという仕組みを提案しました。

藤原最終的にはユーザー自身に選んでもらうというのがポイントなんですね。そもそも、スマートレコメンドがサブウェイ様の提案型注文システムの実証実験に至るまでの経緯はどうなっていたのですか？

赤津AIを使った感情推定技術の活用方法を私たちのチーム全員でアイデアを出し合った結果、最初は駅の観光案内端末を仮説としてOKIグループの技術展に出展し、ここにいる営業の米山さんやSEの宮原さんに評価していただきました。
それと並行して、私が5年ほど前から活動を続けている「応用脳科学コンソーシアム」の中で、私たちが研究している感情推定技術をフィールドで実験してみたいとアピールしていたところ、NTTデータ経営研究所様の方が「サブウェイ様が興味を持たれている」とご紹介いただき、改めて、私と米山さん、宮原さんの3人で、サブウェイの社長様とマーケティングの責任者の方にプレゼンをさせていただいたというのが始まりです。

藤原プレゼンが決まった際、米山さんと宮原さんは、それぞれ営業、SEの立場として、どのように思いました？

米山私の場合は、当時流通小売市場のお客様を担当していたのですが、現金処理機などのハード系の商材がメインで、キャッシュレス化が進む中、先々に不安を感じていました。その中で、スマートレコメンドは、お客様の生産性や顧客満足度の向上に資するソリューションとして有望であり、是非、一緒にやっていきたいと思いました。それと、私自身がサブウェイ様にランチ時に行くことがよくあるのですが、複雑なオーダーの仕組みによりオーダーの行列ができることも体験していました。もちろん、パンやソース、トッピングなどを店員さんとの会話の中で選択していくというオーダー方法は、サブウェイ様のポリシーなのでしょうが、混雑時の生産性の改善は先方も課題を感じていたようで、そのソリューションを提案できたことに、一人のユーザーとしての喜びもありました。

宮原私は、店舗業務などの無人化・非対面化を支援するOKIの接客支援ミドルウェア「CounterSmart」のSEを担当しています。CounterSmartでは、AIを活用してアバターが接客する無人応対機能と、オペレーターと非対面で接客するリモート支援機能を提供しています。その中で、前者のアバター接客の場合、ユーザーの気持ちに関係なくニコニコ、サクサク接客する、いわゆる「空気を読まない」態度が不快だというご意見もあり、課題認識しておりました。そこに、お客様の感情を読み取る技術を付加することでCounterSmartのブラッシュアップにもつながると思いプロジェクトに参加させてもらいました。

感情を推定する必要がある対面接客のシーンすべてがマーケットとなる

藤原実は、このスマートレコメンドという感情推定ソリューションは、鎌上社長からも「早く、商品化すべき」と言われているところです（笑）。このように誰もが興味を示し、面白いと思われるようなOKIとしての提供価値をお客様の導入価値へと変えていかなければならない。並行して、新たなマーケットを開拓・拡大する必要があります。私個人としては、オーダーの際、迷って行列ができやすいドライブスルーなんか最適だと思うのですが…？

赤津ドライブスルーに関しては、現在、研究開発を進めています。今回の案件と違い、屋外使用となり、ユーザーと端末間の距離が長くなるため、感情の推定精度の向上やコンテンツの表示方法などの技術的な課題を解決するため、現場のヒヤリングも続けています。それと、飲食関連以外では、保険会社の外交員が持つレコメンド機能付タブレットも考えていて、これもヒヤリングをしようと思っています。

米山OKIと取引がある保険会社様はいくつもあるので、担当営業を赤津さんに紹介できますよ。

藤原でも、一番参考になるのは最前線の現場の声だから、職場に時々来られる外交員の人を捕まえて、話しを聞いてみてもいいんじゃないかな。そういう、ゲリラ的な活動も必要だと思いますよ。

赤津トライしてみます。

米山私としては、今後の成長分野ということで、シルバー市場、特に介護施設などでも活躍できると思います。高齢者の入居者の表情や態度から、どのような時にハッピーだったのかなどの感情を推定できれば、どういうサービスを介護スタッフが提供すればよいかサービスの向上を図ることができ、利用者のQOL向上に繋げられると思っています。

宮原現在のコロナ禍や人手不足などの社会状況を勘案すると、あらゆるシーンでバーチャルなリモート接客というニーズは増えてくると考えています。そのためにもユーザーの反応などのデータを収集し、コミュニケーション品質向上に役立てることで、バーチャルなんだけど心がこもったリアルな接客に近づけるようにしたい。また、そのようなリアルな接客が求められている市場を狙っていきたいと思います。

藤原OKIとしての価値とは、AIエッジ処理に代表されるようなユーザーの反応などをリアルタイムに把握し、クラウドなどを介さずに瞬時に返す技術にあると思います。そういうOKIの強みを最大限に発揮できるような利用シーンの発掘が必要ですね。
そのほかにもスマートレコメンドに関して、新しい技術動向はありますか？

赤津実は、子供の感情推定というのは未開拓な領域でもあるんです。玩具メーカーや出版社などの一部に興味を持たれている事業者もいますので、そういう方々との議論も進めていきたいと思います。

研究開発、営業、SEの連携。全員参加型イノベーションで感情推定技術の開発と普及を実現。

米山とにかく、早く話しを進めて結果を出していくためには、研究開発、営業、SEの3者が連携して動くことが必要だと、今回のサブウェイ様の実証実験を通じて痛感しました。感情推定というコアな技術を創造するのが研究開発の赤津さんで、マーケットの動向や顧客課題などをキャッチアップするのが私のような営業の役目。そして、ターゲットに必要な技術を統合してソリューションに落とし込んでいくのが宮原さんのようなSE。このような3者のチームワークを全社的に広げていきたいですね。

藤原その通りですね。こういった3者の連携はまさに全員参加型イノベーションですが、OKIの中ではまだまだ部門間の壁が残っているのも事実です。私はそういう壁を壊したい。最近、プレスリリースした運送業のロンコ・ジャパン様との「配送ルート最適化」の実証実験。これはお客様から声が掛かり、仮説検証の段階からビジネス推進部のメンバーと共に研究開発部のメンバーが参加し、打合せの席で技術的なエビデンスに基づき「できます！」と即答したことで、お客様の信頼を得て、そこから話しがトントン拍子に進みました。やはり、今回のサブウェイの事例同様、複数の部門が一緒になってお客様に提案することが重要です。
では、最後になりましたが、今後の3者連携への決意と、スマートレコメンドに対する思いなどを語ってください。

赤津今回のサブウェイ様との感情推定技術の実証実験のニュースが報道されて以降、取材の問合せが多く、反響の大きさに驚いています。皆さん「面白い、楽しそうだ」と言っていただくのですが、単に面白いだけで売れる商品でなないので、その商品としての価値をしっかり打ち出して、ビジネスとしても成功し、なおかつ社会に貢献できるようなソリューションを提供したいと思っています。

藤原やっぱり、営業やSEと共に仕事していると、マーケットを意識するようになるんだね（笑）。

米山スマートレコメンドという機能は、それだけでユーザー側、店舗側にとって大きな価値ですが、店舗側にとってもうひとつ大きなメリットがあると思います。店舗・運営側にとって、何が、いつ、どれくらい売れたかという情報はPOSデータで把握できますが、スマートレコメンドでは、ユーザーが他にどういうメニューに注目をしていたのか等の意思決定までのプロセスもデータとして残ります。それらのマーケティングデータの活用提案を含め、ビジネスの幅を広げていきたいと思います。

宮原今後、多くのパートナーやお客様と一緒にスピード感を持って実証実験を重ねていきたいと思っています。スモールスタートで現場に投入することで、さまざまな問題点を吸い上げ、改善し、繰り返し現場に投入する。このサイクルをここいる3人で創り上げるつもりでいます。

藤原今日は、この3人が実に頼もしく見えました。これからも3者連携を強め、全員参加型イノベーションで、お客様に導入していただけるよう推進していきましょう。どうもありがとうございました。