研究開発

ディープラーニングのモデル圧縮技術

背景

IoT時代の到来により爆発的に増加するデータ通信量を抑制するため、ネットワークの末端(エッジ)で高速に処理するAIエッジ技術が求められています。ディープラーニングは高精度なAI技術として活用が注目されていますが、エッジで処理するにはメモリー要求量や計算コスト、消費電力が大きいため高価なハードウェアが必要となるという課題がありました。そこでOKIは、ディープラーニングで用いるニューラルネットワークの構成(モデル)を小さくしても性能の劣化を抑制できる「モデルの圧縮技術」の研究開発に注力しています。本技術により、メモリー容量や計算コストが抑制されるためハードウェア要求を下げ、ディープラーニング技術の導入が容易になります。

特徴

OKIは、高精度なモデルの性能をできる限り維持したまま演算効率を高めるために、様々なアプローチのモデル圧縮技術の研究開発をしています。たとえば、ニューラルネットワークに含まれる冗長なニューロンを削減するプルーニング(枝刈り)技術や、モデルの大部分を占める積和演算を通常の32ビットから2~4ビット程度で実行可能にする低ビット量子化技術などの開発に取り組み、独自の技術を確立しています。
プルーニング技術に関しては、各ニューロンの重要度を推定するアテンション・ネットワークを各層の間に構築して学習することで、重要度の低いニューロンを特定して削減する手法を開発しました。本技術の特長として、従来のプルーニング技術の適用に必要だった「専門家によるモデル分析や試行錯誤」が不要なためユーザーの負担が軽減でき、かつ適用後の認識精度の維持率も高いという点があります。具体的には、精度劣化を1%程度に抑えつつ、90.8%のパラメータ数の削減と79.4%の浮動小数点演算回数の削減に成功しています(モデル:ResNet-50(※1)、データセット:CIFAR-10(※2)に対する画像認識ベンチマークの結果)。なお、本プルーニング技術は、コンピュータービジョン分野の国際会議BMVC2019(British Machine Vision Conference)にて論文採択されています。
低ビット量子化技術に関しては、ニューラルネットワークの積和演算で使用する量子化後の値(量子化値)をデータに基づく学習によって最適化する手法を開発しました。量子化値はあらかじめ固定値として与えると、量子化前後の誤差が大きくなり認識精度の劣化に繋がるため、精度維持には量子化値の最適化が重要であることに着目しました。本技術により、ImageNet(※2)データセットに対する画像認識ベンチマークでは、2ビットのResNet-50(※1)の精度劣化を、世界トップクラスの1.7%に抑えることに成功しています。なお、本低ビット量子化技術は、コンピュータービジョン分野の国際会議CVPR2021(IEEE/CVF Computer Vision and Pattern Recognition)にて論文採択されています。
このように、精度劣化を抑制しメモリー容量や計算コストを低減する技術により、エッジでのAI処理の高精度化・高速化・低電力化を実現することができるようになります 。

  • ※1 Residual Networkの略。2015年にKaiming He氏が考案したニューラルネットワークのモデル。層を重ねることにより高度で複雑な特徴を抽出している。
  • ※2 一般物体認識のベンチマークとしてよく使われている画像データセット。CIFAR-10は10種類の分類問題に、ImageNetは1000種類の分類問題に使用される。

プルーニング技術

低ビット量子化技術

データに基づく学習で量子化値を最適化

OKIの先端技術に関するお問い合わせ
お問い合わせフォーム

  • お問い合わせ

公的研究費の不正使用および研究活動における不正行為等に係る通報も上記で受け付けます。



Special Contents

      • YouTube

      お問い合わせ

      お問い合わせ