- Home
- OKIの技術
- 技術広報誌 OKIテクニカルレビュー
- No.241
- 長距離移動に伴う環境負荷を削減するXR応用技術
技術広報誌 OKIテクニカルレビュー
省エネ ソリューション
- 本記事のリーフレット
長距離移動に伴う環境負荷を削減するXR応用技術
筆者らは、以前から映像音声通信技術、XR技術を組み合わせて用い、熟練技能者の言語化しづらいノウハウの伝達を可能にして、生産性の向上に寄与することを目指す技術の研究開発を行ってきた。先にOKIテクニカルレビューや論文発表で公表した「遠隔作業支援システム」と「デジタルツインXR」と呼ぶ技術である（参考文献1）、（参考文献2）、（参考文献3）。
これらの技術は、主に製造現場の生産性向上、ノウハウの伝達や、ノウハウをもつ熟練者の空間移動に伴う身体的負担の軽減などを目指して開発を始めたものであった。しかし、これらには、近年注目を集める環境負荷低減の効果を期待することもできる。具体的には、これまでは、遠距離の現場で行われている作業を支援するためには、業務を支援可能なスキルを持っている熟練者が、実際に現場へ直接移動して、それらの業務を支援することが必要であった。そのため、現地へ移動手段として自動車や航空機などの通常の交通手段を用いることになり、多くのCO2を排出することが不可避であった。そこで、実際に現場へ移動せずに、それらの業務を遂行できれば、これまで発生していた長距離移動に伴うCO2排出量を削減することができ、結果的に環境負荷低減に貢献できる。
以下、本稿では、開発を継続してきた二つの技術の背景や特徴を再度振り返り、現在の進展状況も報告する。最後に、これらの技術の効果をCO2削減の観点から評価する。
遠隔作業支援システムの背景
筆者らはOKI製造工場内での利用を目的とした遠隔作業支援システムを開発してきた。遠隔作業支援技術は空間を共有しない、あるいは共有できない現場間での作業支援を可能にするための技術である。具体的には、製造現場では、製品設計を実際に行い、設計意図を理解している設計者と、実際に製造に携わる製造者が同じ場所にいない場合も多々ある。日本国内で、設計拠点と製造拠点が別拠点に所在する場合、また、国内で設計の後に、生産を海外工場で行う場合がそうした例の一部である。
このように製品製造にかかわる拠点が複数存在する場合、新たな製品製造のラインを立ち上げる時には、設計者が製造現場拠点に出張したり、ラインが実際に立ち上がるまで長期滞在したりすることが通常であった。しかし、2019年から蔓延（まんえん）した新型コロナウイルスによって、国内外の移動が制限され、実際に現地を訪問すること自体が不可能という状況が発生した。遠隔作業支援システムはそのような状況下で活用可能であり、遠隔地で実施際に手を動かして作業する作業者に通信回線経由で詳細な作業指示をするなどのコミュニケーションを支援するシステムである。
遠隔作業支援システムの概略
遠隔作業支援システムの概略を図1に示す。
図1 遠隔作業支援システムの概略
遠隔地の熟練者と現場の作業者を接続し、熟練者が現場の「作業」を遠隔地から支援する。一般に使われる遠隔会議やテレビ会議同様の、映像や音声によるコミュニケーションに加え、後述するジェスチャーセンサーによって計測された手形の表示や、スケッチと呼ぶ画面上への線描画など、多様な手段で指示伝達ができることが特徴である。
作業者が現場で行っている作業に対し、熟練者が空間の移動を伴わずに指示・指導できることを目指す活動を「遠隔作業支援」と呼ぶが、既存の研究から、映像、音声を伝達するだけでは支援として不十分であることが知られている。一例では、空間を共有している時には容易な「ここを見て」（指を差しながら）「こうつかんで」（操作する身振りを交えながら）などの、身振りを伴う発話による情報が伝達できず、意味を持たなくなるなどがある。
製造作業などの支援は、通常の遠隔会議とは異なり、作業対象がリアルな空間に存在するために、デジタルなデータではなく、リアルな対象物に関係する指示が必要になり、先に説明した身振りはその一例である。このような情報指示を可能とするため、開発中の遠隔作業支援システムは、現場作業者の映像を取得し、その上にジェスチャーセンサーによって得られた、指示者の手形や動きによる「ジェスチャー」と呼ぶ指示情報を動画上にコンピューターグラフィクスでリアルタイムに重畳して表示することができる。これにより、注目すべき位置や、移動するべき（すなわち空間を撮影するカメラの映像を動かすべき）方向を、指差しによって分かりやすい形で提示したり、具体的に作業を行う両手の形を、動きを伴って示したりすることなどが容易にできる。
また、より詳細な作業指示を行う場合には、スナップショットとよぶ、撮影中の動画の一コマを切り取った静止画を取得して、画面が静止している上で先に述べたジェスチャーを提示したり、またスケッチと呼ぶ静止画上への描線によって、記号や文字を書いたりするなどのより詳細な情報提示が可能である。
近年では手の形だけでなく、作業に必要な道具を3Dで提示して、ジェスチャー同様の仕組みでリアルタイムに動かし、溶接トーチなどの道具の利用法を提示するなどの開発も進めている。
これまでは、現場で扱う「もの」に対する詳細な作業指示に応用することを目指して開発を進めてきたため、作業者の両手が自由に使えるウェアラブルデバイスを作業者端末と想定して開発してきた（図2）。しかし、近年では、OKI外のサプライヤー会社の工場内の監査を、有資格者が遠隔から行うなど、他の用途にも遠隔可能支援システムの応用可能性があることが分かってきたため、現地での入手性が高く、高品質なカメラを安価に利用することができるスマートフォンを端末とした構成（図2右）でも開発を進めている。
図2 遠隔作業支援システムで利用可能な端末の例
デジタルツインXRの背景
近年、製造業の課題として、熟練者のもつ言語化しづらい技能の次世代への伝承ができていないことがある。背景には、熟練技術者の高年齢化による引退が進んでいること、長い不況時に採用を手控えていたため、伝承先となる技能を伝える相手がそもそも存在しなかったなどの問題がある。そのため、習得に時間を要する熟練技術者の言語化しづらいノウハウを次世代に伝達できていないため、このままでは熟練技能者の現場からの退職、引退とともに、製造に必要な技術やノウハウが消失する恐れがある。また、作業者の技能によらずに、製造品質を一定にするためにはテキストマニュアルなどの作業手順書を詳細に作成する必要があるが、近年、消費者ニーズの多様化などを受け、多品種少量生産が必要とされているため、製造品種に合わせてマニュアルを準備しようとすると、コストが膨大となるため、対処に何らかの工夫が必要となる。現場では、ビデオで熟練者の作業中動作を撮影するなどの対策を検討しているが、撮影した視点からの情報しか取得できないなどの問題がある。
開発中のデジタルツインXRはこうした課題の解決を目指すもので、熟練技能者の身体動作を3Dのモーションデータとして記録しておき、複数の表示手段で提示、熟練者が不在、または移動ができない状況であっても、蓄積された技能を学習、訓練可能とする技術である。
デジタルツインXRシステムの概要
デジタルツインXRは3Dモーションデータの計測システム（モーションキャプチャーシステム）と、3D映像データの表示（可視化システム）の二つのシステムから構成される（図3）。以下、順に特徴を説明する。
図3 デジタルツインXRの概要
（1）モーションキャプチャーシステム
熟練者、すなわち手本となる作業動作が可能な人の動きを計測するシステムである。工場など、設備の設置に制約がある空間で利用できる必要がある、作業者への負担を軽くする必要があるなど、製造業を対象とすることに付随する制約に対応するために、市販の安価なセンサーの組合せで、簡易的に設置でき、かつ技能伝達に必要な情報を取得できる構成を目指している。現在、全身の骨格と手先の詳細な動きを市販の光学センサーを用いて計測している。二つのセンサーによって、合計76関節点の数値データとして構成される人の動きの3Dデータを計測して、全身姿勢の情報と、手先の詳細な動作を関連付けて保存する。また、熟練者の動きだけでなく、作業者の動きもキャプチャーシステムで計測することで、のちに述べるような、手本データとセンサーデータの重畳による教育効果の向上にも利用できる。
（2）可視化システム
開発中の可視化システムでは、市販の裸眼立体表示装置を情報表示端末として使用している。利用中の装置は立体視のために視聴者が特殊な装置を装着する必要がなく、ユーザーの右目と左目に合わせた映像を出力して、左右視差によってユーザーに3D映像を提示する。映像表示装置としてHMD（Head Mounted Display）も利用可能だが、装着による訓練者への負担増を考慮し、現在では裸眼立体表示装置を主に利用し、開発を進めている。
可視化システムではモーションキャプチャーシステムで記録された3Dデータを読み込み、各関節の関節角度を用いて3Dの人型アバターとして、キャプチャーされた動きを表示できる。モーションが3Dデータで保存されているため、ビデオ撮影した教示用コンテンツと比較して、表示方法が容易に変更できる。例えば、アバターを見る仮想的なカメラの位置を自在に変更でき、手元の詳細な動きを拡大したり、また逆に引いた視点から見て、熟練者の全身姿勢を確認したりするなどの操作が可能である。また、見本の動きの速さを調整、停止することも可能であり、ユーザーがより見本の動作を確認しやすくなることが期待できる。
また、訓練を受ける者の訓練中の動きを計測して、見本の動きと重畳して表示し、自身の動きを確認できる。熟練者の技術を再現する見本のアバターと学習者の動きを再現するアバターの外観を図4に示す。
現在の実装では、見本のアバターは男性の形状をした半透明のアバター、学習者の動きを再現するアバターは関節点を球、その間を繋ぐリンクを円柱で表現したスティックアバターとしている。また、スティックアバターの周りには、見本のアバターと同様の形状に合わせた輪郭線を表示する（参考文献4）。
図4 アバターの外観
可視化システムとモーションキャプチャーシステムを併用し、見本の動きを表示しながら、リアルタイム計測した学習者自身の動きを重畳表示できる。この機能により、見本と自身の動きの差異を比較しやすくなり、学習者が自分自身の動きの課題を容易に把握できるようになった。
CO2排出への効果
本稿で紹介した二つの技術は、熟練者、及び訓練対象者の移動を伴わずに現場の作業支援、若しくは教育訓練指導を可能にし、自動車、航空機などの交通手段を用いる移動に伴って発生するCO2を削減する効果がある。本章ではそれらの効果に具体的に考察する。なお、一般的な例ではなく、OKI内の具体的な事例に当てはめ、国内、国外の代表的な事例を1例ずつ検討する。
国内の移動例としては、生産ライン移転などでコミュニケーションする必要がある、静岡県沼津工場と、埼玉県本庄工場の移動を通常乗用車で行った場合を例とする。同様に国外への移動の例では、日本国内から最も遠いODMT（OKI Data Manufacturing Thailand）タイ・アユタヤ工場に技術支援のために航空機を用いて出張した場合の例を以下に示す。
•国内移動によるCO2排出量の例
静岡県沼津市と埼玉県本庄市の往復約400kmを通常の乗用車で移動した場合のCO2排出量は
153(注1)g-CO2/km×400km=61.2kg CO2
となる。
•国外移動によるCO2排出量の例
成田空港からタイ・スワンナプーム国際空港までジャンボジェットで移動した場合のCO2量は、Google(注2)社が、欧州環境機関（EEA）が提案する2019年の最新のアルゴリズムモデルに基づいて算出した標準推定排出量（参考文献6）によれば
296×2（往復）=592kg CO2
となる。
次に上記2例のCO2排出量削減効果を述べる。先に述べた値はどちらも1回の往復を示すもので、出張回数ごとに増えるため、提案した二つの技術をOKIグループ内で活用することによって、仮に年間の出張回数を国内で5回、国外で1回、減らせるとすると、OKIグループ内に年間900kg CO2程度と、1t近いCO2削減効果をもたらすことができる。
おわりに
これまでは、遠隔作業支援システム、デジタルツインXRの導入効果として、熟練者の減少に対応、移動時間の短縮などの効果が期待できることは分かっていたが、今回CO2排出量削減という、新たな観点での評価を試み、実際に大きな効果がありそうであることが分かった。
二つのシステムはOKIグループ内での活用を進め、更に社外への商品化を目指す開発段階であるが、OKIグループ内でのCO2削減に貢献するとともに、製品化の際には、環境負荷低減の効果なども外部へ導入効果の一つとして、積極的にアピールして行きたい。
参考文献
（参考文献1）鈴木雄介、市原俊介、福島寛之、渕上正睦：遠隔作業支援システムの現場適用、～情報通信沼津工場での実証実験～、OKIテクニカルレビュー第231号、VOL.85 NO.1、pp.16-19、2018年5月
（参考文献2）Yusuke Suzuki and Shunsuke Ichihara: User Stress Measurement of Remote Operation Supporting System with Hand Gesture Transmission Function, Proc.of Human Comuputer Interaction International,2019,LNCS11570,pp.412-425,(2019).
（参考文献3）鈴木雄介、市原俊介、渕上正睦：生産性を向上するデジタルツインXR、OKIテクニカルレビュー第237号、VOL.88 NO.1、pp.50-53、2021年5月
（参考文献4）松宮正太、村松敦、鈴木雄介：3Dディスプレイによる重畳表示機能を用いた技能伝承システムの提案、インタラクション2023、pp.162-165、2023年
（参考文献5）国土交通省、自動車燃費一覧（令和4年3月）、（1）普通/小型自動車（WLTCモード）
https://www.mlit.go.jp/jidosha/content/001474447.xls [400KB]
（外部サイト）
（参考文献6）Google社：二酸化炭素排出量の推定方法
https://support.google.com/travel/answer/11116147
（外部サイト）
筆者紹介
鈴木雄介：Yusuke Suzuki. 技術本部 研究開発センター プラットフォーム研究開発部
松宮正太：Shota Matsumiya. 技術本部 研究開発センター プラットフォーム研究開発部
渕上正睦：Masachika Fuchigami. 技術本部 研究開発センター プラットフォーム研究開発部
畠中貴明：Takaaki Hatanaka. 技術本部 研究開発センター プラットフォーム研究開発部
福島寛之：Hiroyuki Fukushima. 技術本部 研究開発センター プラットフォーム研究開発部
用語解説
- XR（eXtended Reality）
- AR（Augmented Reality）拡張現実感技術や、VR（Virtual Reality）仮想現実技術の総称。
- g-CO2/km
- 移動に伴うCO2排出量を評価する指標、その交通手段を用いて1km移動する際に排出されるCO2のグラム数で表現される。
- (注1)参考文献5から各社が提供する乗用車のg-CO2/km平均値を著者が算出した値。
- (注2)Googleは、Google LLC社の登録商標または商標です。
- PDFの閲覧にはAdobe Readerが必要です。Adobe社のサイトからダウンロードしてください。
