ONNX Runtime
ハードウェア固有のライブラリを統合するための柔軟なインターフェイスを備えた、クロスプラットフォームの機械学習モデルアクセラレータ
ONNX Runtimeは、PyTorch、Tensorflow/Keras、TFLite、scikit-learn、およびその他のフレームワークのモデルで使用できます。
ONNX Runtimeの使用方法
Section titled “ONNX Runtimeの使用方法”ONNX Runtimeを始めるための基本的なガイド
- 入門ガイドを見る → - ONNX Runtimeを始めるための基本的なガイド
- APIドキュメントを見る → - 各言語のAPI リファレンスドキュメント
- チュートリアルを見る → - 実践的なチュートリアルとサンプル
- エコシステムを見る → - ONNX Runtimeのエコシステムとツール
- YouTubeチャンネル → - 動画チュートリアルとデモ
貢献とカスタマイズ
Section titled “貢献とカスタマイズ”- ビルドガイドを見る → - ソースからONNX Runtimeをビルドする方法
- GitHubリポジトリ → - GitHubでプロジェクトに貢献する
クイックスタートテンプレート
Section titled “クイックスタートテンプレート”- ORT Web JavaScriptサイトテンプレート → - Next.jsとONNX Runtime Webのテンプレート
- ORT C#コンソールアプリテンプレート → - C#とONNX Runtimeのコンソールアプリテンプレート
推論のためのONNX Runtime
Section titled “推論のためのONNX Runtime”ONNX Runtime Inferenceは、Office、Azure、Bingなどの主要なMicrosoft製品およびサービス、さらに数十のコミュニティプロジェクトで機械学習モデルを強化しています。
ONNX Runtime推論のユースケースの例は次のとおりです。
- さまざまなMLモデルの推論パフォーマンスを向上させる
- さまざまなハードウェアおよびオペレーティングシステムで実行する
- Pythonでトレーニングするが、C#/C++/Javaアプリにデプロイする
- さまざまなフレームワークで作成されたモデルでトレーニングと推論を実行する
前提は単純です。
- モデルを取得します。 これは、ONNX形式へのエクスポート/変換をサポートする任意のフレームワークからトレーニングできます。人気のあるフレームワーク/ライブラリについては、チュートリアルを参照してください。
- ONNX Runtimeでモデルをロードして実行します。 さまざまな言語でモデルを実行する方法については、基本的なチュートリアルを参照してください。
- (オプション) さまざまなランタイム構成またはハードウェアアクセラレータを使用してパフォーマンスを調整します。 ここには多くのオプションがあります - パフォーマンスセクションを開始点として参照してください。
ステップ3がなくても、ONNX Runtimeは元のフレームワークと比較してパフォーマンスが向上することがよくあります。
ONNX Runtimeは、モデルグラフに多数のグラフ最適化を適用し、利用可能なハードウェア固有のアクセラレータに基づいてサブグラフに分割します。コアONNX Runtimeの最適化された計算カーネルはパフォーマンスを向上させ、割り当てられたサブグラフは各実行プロバイダーからのさらなる高速化の恩恵を受けます。