Oliveによるエンドツーエンドの最適化

Olive - ハードウェア対応モデル最適化ツール

Oliveは、モデルの圧縮、最適化、コンパイルにわたる業界をリードする技術を組み合わせた、使いやすいハードウェア対応モデル最適化ツールです。ONNX Runtimeと連携して、E2E推論最適化ソリューションとして機能します。

モデルとターゲットハードウェアが与えられると、Oliveは精度やレイテンシなどの一連の制約を考慮しながら、ONNX Runtimeでの推論に最適なモデルとランタイム構成を出力するために、最適な最適化技術を組み合わせます。Oliveが統合した技術には、ONNX Runtime Transformerの最適化、ONNX Runtimeのパフォーマンスチューニング、HWに依存した調整可能なトレーニング後の量子化、量子化を意識したトレーニングなどが含まれます。Oliveは、ONNX Runtimeのモデル最適化に推奨されるツールです。

例:

1. CPUでのBERT最適化（トレーニング後の量子化あり）
2. CPUでのBERT最適化（量子化を意識したトレーニングあり）

詳細については、OliveリポジトリおよびOliveドキュメントを参照してください。