ONNX Runtimeのインストール

ONNX Runtimeのインストール

目的のターゲットオペレーティングシステム、ハードウェア、アクセラレータ、および言語の組み合わせの推奨手順については、インストールマトリックスを参照してください。

OSのバージョン、コンパイラ、言語のバージョン、依存ライブラリなどの詳細については、 互換性を参照してください。

内容

要件

• すべてのビルドには、en_US.UTF-8ロケールの英語言語パッケージが必要です。Linuxでは、 locale-gen en_US.UTF-8とupdate-locale LANG=en_US.UTF-8を実行してlanguage-pack-enパッケージ をインストールします。

• Windowsビルド にはVisual C++ 2019ランタイムが必要です。 最新バージョンを推奨します。

CUDAとCuDNN

ONNX Runtime GPUパッケージの場合、CUDAとcuDNNをインストールする必要があります。CUDA実行プロバイダーの要件で互換性のあるCUDAとcuDNNのバージョンを確認してください。

• Zlibは、LinuxのみのcuDNN 9.x（zlibはcuDNN 9.x Windowsダイナミックライブラリに静的にリンクされています）、またはLinuxおよびWindowsのcuDNN 8.xで必要です。cuDNN 8.9インストールガイドに従って、LinuxまたはWindowsにzlibをインストールします。
• Windowsでは、CUDA binおよびcuDNN binディレクトリのパスをPATH環境変数に追加する必要があります。
• Linuxでは、CUDA lib64およびcuDNN libディレクトリのパスをLD_LIBRARY_PATH環境変数に追加する必要があります。

onnxruntime-gpuパッケージの場合、CUDAまたはcuDNNを手動でインストールしなくてもPyTorchで動作させることが可能です。詳細については、PyTorchとの互換性を参照してください。

Pythonのインストール

ONNX Runtime CPUのインストール

pip install onnxruntime

ナイトリーのインストール

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime

ONNX Runtime GPU (DirectML) - 持続的エンジニアリングモードのインストール

注意: DirectMLは持続的エンジニアリング段階にあります。新しいWindowsプロジェクトでは、代わりにWinMLを検討してください。

pip install onnxruntime-directml

ナイトリーのインストール

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-directml

ONNX Runtime GPU (CUDA 12.x) のインストール

1.19.0以降、pypiのonnxruntime-gpuのデフォルトのCUDAバージョンは12.xです。

pip install onnxruntime-gpu

ナイトリーのインストール

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-gpu

以前のバージョンについては、こちらからダウンロードできます：1.18.1、1.18.0

ONNX Runtime GPU (CUDA 11.x) のインストール

Cuda 11.xの場合、1.19.2以降についてはORT Azure Devops Feedからインストールするには、次の手順に従ってください。

pip install flatbuffers numpy packaging protobuf sympy
pip install onnxruntime-gpu --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/

以前のバージョンについては、こちらからダウンロードできます：1.18.1、1.18.0

ONNX Runtime QNNのインストール

pip install onnxruntime-qnn

ナイトリーのインストール

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-qnn

ONNX Runtime GPU (ROCm) のインストール

ROCmの場合、AMD ROCmインストール・ドキュメントの指示に従ってインストールしてください。ONNX RuntimeのROCm実行プロバイダーは、ROCm 6.2.0でビルドおよびテストされています。

Linuxでソースからビルドするには、こちらの指示に従ってください。

C#/C/C++/WinMLのインストール

ONNX Runtimeのインストール

ONNX Runtime CPUのインストール

# CPU
dotnet add package Microsoft.ML.OnnxRuntime

ONNX Runtime GPU (CUDA 12.x) のインストール

ORTのデフォルトのCUDAバージョンは12.xです

# GPU
dotnet add package Microsoft.ML.OnnxRuntime.Gpu

ONNX Runtime GPU (CUDA 11.8) のインストール

1. プロジェクトのセットアップ

Azure Artifactsキーリングの最新バージョンが そのGithubリポジトリからインストールされていることを確認してください。
.csprojファイルと同じディレクトリにプロジェクトにnuget.configファイルを追加します。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <packageSources>
        <clear/>
        <add key="onnxruntime-cuda-11"
             value="https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/nuget/v3/index.json"/>
    </packageSources>
</configuration>

2. パッケージの復元

パッケージを復元します（インタラクティブフラグを使用すると、dotnetが資格情報を要求できます）

dotnet add package Microsoft.ML.OnnxRuntime.Gpu

注意：毎回—interactiveは必要ありません。dotnetは、更新された資格情報が必要な場合に—interactiveを追加するように要求します。

DirectML (持続的エンジニアリング - 新規プロジェクトではWinMLを使用)

dotnet add package Microsoft.ML.OnnxRuntime.DirectML

注意: DirectMLは持続的エンジニアリング段階にあります。新規のWindowsプロジェクトでは、代わりにWinMLを使用してください。

WinML (Windowsに推奨)

dotnet add package Microsoft.AI.MachineLearning

Webおよびモバイルへのインストール

ビルド済みパッケージは、すべてのONNX opsetと演算子を完全にサポートしています。

ビルド済みパッケージが大きすぎる場合は、カスタムビルドを作成できます。 カスタムビルドでは、モデル内のopsetと演算子のみを含めることでサイズを削減できます。

JavaScriptのインストール

ONNX Runtime Web (ブラウザ) のインストール

# 最新のリリースバージョンをインストール
npm install onnxruntime-web

# ナイトリービルドの開発バージョンをインストール
npm install onnxruntime-web@dev

ONNX Runtime Node.jsバインディング (Node.js) のインストール

# 最新のリリースバージョンをインストール
npm install onnxruntime-node

ONNX Runtime for React Nativeのインストール

# 最新のリリースバージョンをインストール
npm install onnxruntime-react-native

iOSへのインストール

CocoaPodsのPodfileに、使用したいAPIに応じてonnxruntime-cまたはonnxruntime-objc podを追加します。

C/C++

use_frameworks!

pod 'onnxruntime-c'

Objective-C

use_frameworks!

pod 'onnxruntime-objc'

pod installを実行します。

カスタムビルド

カスタムiOSパッケージの作成手順を参照してください。

Androidへのインストール

Java/Kotlin

Android Studioプロジェクトで、次の変更を加えます。

1. build.gradle (プロジェクト):

    repositories {
        mavenCentral()
    }

2. build.gradle (モジュール):

   dependencies {
       implementation 'com.microsoft.onnxruntime:onnxruntime-android:latest.release'
   }

C/C++

MavenCentralでホストされているonnxruntime-android AARをダウンロードし、ファイル拡張子を.aarから.zipに変更して解凍します。 NDKプロジェクトに、headersフォルダのヘッダーファイルと、jniフォルダの関連するlibonnxruntime.soダイナミックライブラリを含めます。

カスタムビルド

カスタムAndroidパッケージの作成手順を参照してください。

オンデバイストレーニングのインストール

特に明記しない限り、このセクションのインストール手順は、オンデバイストレーニングを実行するために設計されたビルド済みパッケージを指します。

ビルド済みトレーニングパッケージがモデルをサポートしているが、大きすぎる場合は、 カスタムトレーニングビルドを作成できます。

オフラインフェーズ - トレーニングの準備

python -m pip install cerberus flatbuffers h5py numpy>=1.16.6 onnx packaging protobuf sympy setuptools>=41.4.0
pip install -i https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT/pypi/simple/ onnxruntime-training-cpu

トレーニングフェーズ - オンデバイストレーニング

デバイス	言語	パッケージ名	インストール手順
Windows	C, C++, C#	Microsoft.ML.OnnxRuntime.Training	dotnet add package Microsoft.ML.OnnxRuntime.Training
Linux	C, C++	onnxruntime-training-linux*.tgz	こちらから*.tgzファイルをダウンロードします。 解凍します。 includeディレクトリのヘッダーファイルを移動して含めます。 libonnxruntime.soダイナミックライブラリを目的のパスに移動して含めます。
	Python	onnxruntime-training	pip install onnxruntime-training
Android	C, C++	onnxruntime-training-android	Maven Centralでホストされているonnxruntime-training-android (フルパッケージ) AARをダウンロードします。 ファイル拡張子を.aarから.zipに変更して解凍します。 headersフォルダのヘッダーファイルを含めます。 NDKプロジェクトにjniフォルダの関連するlibonnxruntime.soダイナミックライブラリを含めます。
	Java/Kotlin	onnxruntime-training-android	Android Studioプロジェクトで、次の変更を加えます。 build.gradle (プロジェクト): repositories { mavenCentral() } build.gradle (モジュール): dependencies { implementation 'com.microsoft.onnxruntime:onnxruntime-training-android:latest.release' }
iOS	C, C++	CocoaPods: onnxruntime-training-c	CocoaPodsのPodfileに、onnxruntime-training-cポッドを追加します。 use_frameworks! pod 'onnxruntime-training-c' pod installを実行します。
	Objective-C	CocoaPods: onnxruntime-training-objc	CocoaPodsのPodfileに、onnxruntime-training-objcポッドを追加します。 use_frameworks! pod 'onnxruntime-training-objc' pod installを実行します。
Web	JavaScript, TypeScript	onnxruntime-web	npm install onnxruntime-web import * as ort from 'onnxruntime-web/training';またはconst ort = require('onnxruntime-web/training');のいずれかを使用します。

大規模モデルのトレーニング

pip install torch-ort
python -m torch_ort.configure

注意: これにより、CUDAライブラリの特定のバージョンにマッピングされたtorch-ortおよびonnxruntime-trainingパッケージのデフォルトバージョンがインストールされます。onnxruntime.aiのインストールオプションを参照してください。

全言語の推論インストール表

以下の表は、公式にサポートされているパッケージとして利用可能なビルドバリアントをリストしています。その他は、各リリースブランチからソースからビルドできます。

一般的な要件に加えて、以下の表の追加の要件と依存関係に注意してください。

	公式ビルド	ナイトリービルド	要件
Python	pipを使用している場合は、ダウンロードする前にpip install --upgrade pipを実行してください。
	CPU: onnxruntime	onnxruntime (ナイトリー)
	GPU (CUDA/TensorRT) for CUDA 12.x: onnxruntime-gpu	onnxruntime-gpu (ナイトリー)	表示
	GPU (DirectML) 持続的エンジニアリング: onnxruntime-directml	onnxruntime-directml (ナイトリー)	表示
	OpenVINO: intel/onnxruntime - Intel管理		表示
	TensorRT (Jetson): Jetson Zoo - NVIDIA管理
	Azure (クラウド): onnxruntime-azure
C#/C/C++	CPU: Microsoft.ML.OnnxRuntime	onnxruntime (ナイトリー)
	GPU (CUDA/TensorRT): Microsoft.ML.OnnxRuntime.Gpu	onnxruntime (ナイトリー)	表示
	GPU (DirectML) 持続的エンジニアリング: Microsoft.ML.OnnxRuntime.DirectML	onnxruntime (ナイトリー)	表示
WinML Windowsに推奨	Microsoft.AI.MachineLearning	onnxruntime (ナイトリー)	表示
Java	CPU: com.microsoft.onnxruntime:onnxruntime		表示
	GPU (CUDA/TensorRT): com.microsoft.onnxruntime:onnxruntime_gpu		表示
Android	com.microsoft.onnxruntime:onnxruntime-android		表示
iOS (C/C++)	CocoaPods: onnxruntime-c		表示
Objective-C	CocoaPods: onnxruntime-objc		表示
React Native	onnxruntime-react-native (最新)	onnxruntime-react-native (dev)	表示
Node.js	onnxruntime-node (最新)	onnxruntime-node (dev)	表示
Web	onnxruntime-web (最新)	onnxruntime-web (dev)	表示

注意：メインブランチから作成されたナイトリービルドは、公式リリース間の新しい変更をテストするために利用できます。 これらは自己責任で使用してください。ナイトリービルドのサポートは限定されているため、本番ワークロードに展開することは強くお勧めしません。

全言語のトレーニングインストール表

より詳細なインストール手順については、最適化されたトレーニングの開始ページを参照してください。