OKI Open up your dreams

現在位置:Home > OKIについて > 研究開発 > 先端技術 > ディープラーニングのモデル圧縮技術


研究開発

ディープラーニングのモデル圧縮技術

背景

IoT時代の到来により爆発的に増加するデータ通信量を抑制するため、データをネットワークに流す手前の末端(エッジ)で高速に処理するAIエッジ技術が求められています。ディープラーニングは高精度なAI技術として活用が注目されていますが、メモリ要求量や計算コストが大きいため高価なハードウェアが必要となるという課題がありました。そこでOKIは、ディープラーニングで用いるニューラルネットワークの構成(モデル)を小さくしても性能の劣化を抑制できる「モデルの圧縮技術」の研究開発に注力しています。本技術により、メモリ容量や計算コストが抑制されるためハードウェア要求を下げ、ディープラーニング技術の導入が容易になります。

特徴

OKIのディープラーニングのモデル圧縮技術の一例として、ニューラルネットワークの冗長なニューロンを削除するチャネルプルーニング(チャネル枝刈り)と呼ばれる技術があります。プルーニングを行うためには、モデルを構成するニューロンそれぞれの冗長性を評価する基準が必要です。機械学習系トップカンファレンスにおいて、重みパラメータの絶対値の総和や再構築誤差など、様々なニューロン評価基準が続々提案されていますが、OKIにおいても最先端の研究事例を踏まえた独自基準を研究開発しています。たとえば、ニューロンの重要度を推定するアテンション・ネットワークを各層の間に構築して学習することで、重要度の低いニューロンを特定して削減する手法を開発しました。これにより、ResNet-50(※1)と呼ばれる50層のディープラーニングモデルの精度劣化を1%程度に抑えつつ、90.8%のパラメータ数の削減と79.4%の浮動小数点演算回数の削減に成功しています(CIFAR-10(※2):データセットに対する画像認識ベンチマークの結果)。このように、精度劣化を抑制しメモリ容量や計算コストを低減する技術により、エッジ側のAIの高精度化、高速化を実現することができるようになります。

  • ※1 Residual Networkの略。2015年にKaiming He氏が考案したニューラルネットワークのモデル。層を重ねることにより高度で複雑な特徴を抽出している。
  • ※2 一般物体認識のベンチマークとしてよく使われている画像データセット。

ディープラーニングのモデル圧縮技術

  • アテンション・ネットワークを活用し、層を構成するニューロンの重要度を算出
  • 重要度の低いニューロンを削減し、精度を保ちつつ演算量を大きく削減

ディープラーニングのモデル圧縮技術イメージ

OKIの先端技術に関するお問い合わせ
お問い合わせフォーム

ページの先頭へ



Special Contents

      お問い合わせ

      お問い合わせ