- Home
- OKIの技術
- 技術広報誌 OKIテクニカルレビュー
- No.243
- 人とAIを共に進化させ、イノベーションを加速するグラフ文書技術
技術広報誌 OKIテクニカルレビュー
新技術および新商品紹介
- 本記事のリーフレット
人とAIを共に進化させ、イノベーションを加速するグラフ文書技術
近年、生成AIと呼ばれる大規模言語モデルの発展により、これまで困難だった汎用的な対話が可能となり、さまざまな分野・用途で活用されている。これらはインターネットをはじめ、さまざまな公開データを事前学習することで、多くのユースケースで高精度な対話を行うことができる。事前学習されていない非公開データや最新データに対応するために検索拡張生成（以降、RAG）と言われる技術も考案されている。さらに最近はさまざまなシステムに組み込まれ、ロボットの制御にも使われるようになるなど、今後の発展が大きく期待されている。ところが、生成AIには、もっともらしい嘘（ハルシネーション）が発生しやすいという本質的な課題が依然として残っている。
本稿では、グラフ文書技術を用いることでハルシネーションを低減できることを示す。次に、対話によるグラフ文書作成支援、大きなグラフ文書を理解しやすくするためのグラフ文書要約技術、また、膨大な既存文書をグラフ文書に変換して活用するためのグラフ文書自動変換技術、また、グラフ文書を人と生成AIで共有することで社内のイノベーションを加速させるシステムについても述べる。
グラフ文書
グラフ文書とは、図1のように単語や文をノードとし、ノードとノードの意味関係をエッジ（リンク）で表現したネットワーク状の文書である。グラフ文書のデータは、ノードとエッジのリストで構成される。
図1 グラフ文書の例とそのデータ構造
ノードが文章の最小単位の範囲を表し、エッジが文と文の意味的な関係および構造を明示的に表すため、通常のテキストで記述された文書より、人にとって一目で見やすく理解しやすい（参考文献1）。人が通常のテキスト文書を読んだときに頭の中で文書の内容を再構成するときのイメージに近く、そのため理解しやすいと考えられる。
OKIはグラフ文書をWebブラウザ上で直観的に作成・編集できるグラフエディターを開発し、社内で自由に使えるようにしている（図2）。
図2 共同編集可能なグラフエディター
グラフエディターは、シンプルなGUIとし、複数人で同時に同じグラフ文書を編集可能としたため、ブレーンストーミングやアイデア出しを効率的に行うことができる。考えていることをグラフ文書に書き出してみることで、内容や構造が整理でき、考慮漏れや項目同士の矛盾点に気づいたり、新たなアイデアを思いついたりすることもできる。
グラフ文書技術と大規模言語モデルの活用
グラフ文書技術とは、グラフ文書を取り扱うさまざまな技術のことを指す。近年大幅に進化した大規模言語モデル（以降、LLM）を用いることでグラフ文書の利活用を大きく進めることもでき、逆にLLMの課題をグラフ文書技術で改善することもできる。以下、グラフ文書を用いてLLMのハルシネーションを低減できるグラフ文書RAGと、LLMを用いた対話によるグラフ文書の作成支援の二つのグラフ文書技術を紹介する。
（1）グラフ文書RAG
LLMに質問文とともに情報検索結果も渡すことにより、LLMが事前学習していない情報を使った対話を可能にするRAGという技術がある。質問文に付加する情報がRAGで与えた情報検索結果では不十分だった場合、LLMは事前学習の情報から適当な回答を生成してしまい、ハルシネーションが起こる。そこで情報検索の対象をグラフ文書とするグラフ文書RAGを用いることで、以下の二つの問題に対処し、ハルシネーションが低減できる。
【チャンキングの問題】
RAGでは、検索対象をあらかじめ小さな単位に分割（チャンキング）することが必要である。その際に、文章の途中で切ってしまうと、LLMがその続きを勝手に想像してしまい、ハルシネーションが起きやすくなる。検索対象がグラフ文書の場合、文の単位でノードとして情報が適切に区切られているため問題が生じない。
【必要な情報に辿り着けない問題】
RAGでは通常質問文に似た内容を探すために質問文の内容に近い情報をベクトル検索する手法が用いられる。それにより質問の回答が含まれた情報を見つけ、LLMに渡すことができる。ところが、ベクトル検索だけでは必要な情報を見つけることができないことがある。ベクトル検索により似た内容が書かれた情報は見つかるが、正しく答えるには質問とは似ていないが参照している情報も必要である。グラフ文書ではノード間の参照関係をエッジで表現可能であるため、ベクトル検索したのち、その検索結果のノードと特定のラベルを持つエッジでつながったノードも検索結果に追加することで、必要十分な情報をLLMに渡すことができ、ハルシネーションを避けることができる。
（2）対話によるグラフ文書の作成支援
グラフ文書の作成は前述のグラフエディターで簡単に行えるが、LLMと対話した結果を自動的にグラフ文書にすることができれば、グラフ文書作成の敷居をさらに下げることができる。LLMとの対話履歴がグラフ文書として構造化され見やすい形となっていると、対話結果を簡単に利活用できるようになる。そこでLLMとの対話履歴をグラフ文書に変換しグラフエディターに反映するシステムを開発した（図3）。
これはLLMに現在のグラフ文書とユーザー発話を渡し、ユーザーへのメッセージ生成に加えて、その内容を要約した追加ノードと追加エッジを生成させることにより実現した。
図3 対話によるグラフ文書作成支援
（3）グラフ文書要約
グラフ文書は、文書の持つ論理構造が分かりやすい反面、ノード数が増えると、可読性が低下し、文書の要点が分かりづらくなるという課題がある。そこでこの課題を解決するため、グラフ文書要約手法の研究開発に取り組んでいる。
まず、グラフ文書の中から重要ノードを抽出する手法を提案し、検証を行った。本手法は、代表的な抽出型要約手法であるLexRank（参考文献2）をグラフ文書に適用して重要ノードを抽出する手法である。
LexRankは文間の類似度を基にグラフを作成し、ネットワークの中心性を算出することで、重要文を抽出する。これは、文書に含まれるほかの文との類似度が高い文ほど、重要度が高いという考えを反映した要約手法となっている。しかし、LexRankでは、文間の類似度しか考慮しておらず、論理関係は考慮できていない。そこで、提案手法では、論理構造が明示されたグラフ文書を用いることにより、文間の論理関係を考慮した抽出型要約、すなわち重要ノード抽出を実現する（図4）。
図4 重要ノード抽出の概念図
提案手法の有効性を確認するため、livedoorニュースの3行要約データセット（参考文献3）を用いて実験を行った。3行要約データセットはグラフ構造を持たないプレーンテキストであるため、本実験では文中に含まれる接続詞を基に、簡易的なグラフ文書を作成し、評価用データとして用いた。また、抽出する重要ノードの数はk={1,2,3}の3とおりとし、評価を行った。表1に実験結果を示す。評価指標として、ROUGE-{1,2,L}（参考文献4）を用いた。hybridは、LexRankと提案手法を組み合わせた手法である。実験の結果、k=2およびk=3のとき、すなわち、グラフ文書から複数の重要ノードを抽出する場合は提案手法が優れた性能を示すことを確認した（表1）。
表1 実験結果
さらに、今後の展望として、我々はグラフ文書を活用することで、ユーザーが直感的に要約を修正できる、インタラクティブ要約技術の開発も目指している。
（4）既存文書のグラフ文書への変換
グラフ文書は、通常の文書形式と比較して、文書の読み書きの際に記述・理解が容易という点がある。それに加えて、複数の文書を知識源として利用する場合、つまりグラフ文書同士の類似点を見出す場合にも、ノードやエッジラベル情報を用いることができる点で優位性がある。しかし、知識源として利用するためには、まとまった量のグラフ文書が必要となる。グラフ文書を知識源とするシステムを構築する上で、この部分が課題となるため、既存の文書をグラフ文書へ変換する技術に取り組んでいる。
グラフ文書への変換は、
- ファイルフォーマットの変換：テキストなどの内容の抽出やメタ情報の利用
- ノードの抽出：用途に合わせた単位の設定とテキストなどの内容の切り出し
- ノード間の関係推定：意味的・論理的な関係の推定、参照関係の推定
といった複数の技術を必要とする複合的なタスクとなるため、グラフ文書の利用目的に応じてシステムの構築を推進する方針をとる。
まず、対象文書のフォーマット変換は、各種フォーマットからテキスト部分を抽出するツールを用いることで、プレーンなテキストを抽出することができる。この際、メタ情報も扱える場合には、文書内のヘッダー・フッター、ページや段落・章立てといった構造や、表情報などを扱うこともできるため、これらの情報を用いて、必要な情報を抽出する。
次に、ノードとする単位の切り出しを行う。見出し番号といった構造情報が利用できる文書形式（たとえば、規程文書や法令、約款といった文書では条番号が明記され、マニュアルなどの文書でも章・節番号が振られている）であれば、これらを利用してノードに分割する。利用できない場合は、段落などの単位で分割する。次に、ノード間の関係については、「9条記載の」といった特徴的な表現を手掛かりに参照先ノードを特定する。このように、元データに含まれる情報を活用することで、グラフ文書への変換を比較的低コストで行うことができる。
社内イノベーション加速支援システム
OKIでは社員一人一人によるイノベーションアイデアの創出を推進している（参考文献5）。社員がイノベーションアイデアを膨らませることを支援する目的でイノベーション加速支援システムを構築した。これは前述のグラフ文書RAGと対話によるグラフ文書の作成支援の技術を組み合わせて実現している（図5）。
図5 イノベーション加速支援システムの全体像
このシステムではイノベーションマネジメントシステム（IMS）に基づいて、イノベーションテーマごとに、さまざまな観点で対話ができるようになっている。たとえば、戦略フレームワークのPEST分析などのタスク一つ一つにLLM用のプロンプトが用意されており、社員は本システムと対話して答えていくことで、それぞれのタスクの観点ごとにアイデアを深掘りすることができる。その際、対話した結果は随時グラフ文書として表示・蓄積される。各タスクで対話する際に、LLMにはその時点でのそのテーマのグラフ文書を渡すため、それまでに行ったタスクの結果も加味して対話が進められていく。また、社員はでき上がったグラフ文書を閲覧・編集することができる（図6）。
図6 各タスクによる対話と随時更新されるグラフ文書
また、利用者のほかのテーマやほかの社員のテーマの内容をグラフ文書RAGの対象とすることで、社内の「知の蓄積」の活用を可能にし、これによってさらなるイノベーションの加速と拡大を目指す。本システムは2024年度後半からの社内実証実験を予定している。
まとめ
LLMの発展は、グラフ文書の活用の幅を大きく広げることになり、グラフ文書とLLMを組み合わせることで、人もLLMも互いに進化できることを各システムで体感することができる。
今後はグラフ文書技術をさまざまなユースケース・システムにおいて活用していくとともに、イノベーション加速支援システムにおいて知の蓄積と活用を進めていきたいと考えている。
なお、この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「人と共に進化する次世代人工知能に関する技術開発」委託業務の結果得られたものである。
参考文献
（参考文献1）橋田浩一：文書作成支援分科会、第15回産業日本語研究会・シンポジウム、2024年2月20日 [1.5MB]
（外部サイト）
（参考文献2）Erkan, Günes, and Dragomir R. Radev: "Lexrank: Graph-based lexical centrality as salience in text summarization." Journal of artificial intelligence research 22, 457-479, 2004.
（参考文献3）小平知範、小町守：TL；DR 3行要約に着目したニューラル文書要約、IEICE technical report：信学技報117（212）、193-198、2017
（参考文献4）Lin, Chin-Yew: "Rouge: A package for automatic evaluation of summaries." Text summarization branches out., 74-81, 2004.
（参考文献5）OKI：『全員参加型イノベーション』とは
筆者紹介
村田稔樹：Toshiki Murata. 技術本部 研究開発センター AI技術研究開発部
前橋祐斗：Yuto Maehashi. 技術本部 研究開発センター AI技術研究開発部
山崎貴宏：Takahiro Yamasaki. 技術本部 研究開発センター AI技術研究開発部
用語解説
- 大規模言語モデル（LLM：Large language Model）
- 大量のテキストで学習を行うことで、非常に流暢な対話を行えるようになった言語モデル。
入力テキストに続く単語の出現確率を予測することで、文章の生成を行う。 - ベクトル検索
- テキストデータを数値表現であるベクトルに変換し、ベクトル間の類似度に基づいて検索する技術。テキストの意味情報を内包したベクトルを用いることにより、キーワード検索と比べて、より関連性の高い検索結果を得ることができる。
- イノベーション・マネジメントシステム（IMS：Innovation Management System）
- 組織として効率的にイノベーション創出するための、一連のプロセスを定めたもの。国際標準規格ISO56000シリーズとして制定されている。
- PDFの閲覧にはAdobe Readerが必要です。Adobe社のサイトからダウンロードしてください。
