IoTとエッジへのデプロイ
IoTおよびエッジデバイスへのMLモデルのデプロイ
Section titled “IoTおよびエッジデバイスへのMLモデルのデプロイ”ONNX Runtimeを使用すると、さまざまなユースケースをサポートするために、多くのIoTおよびエッジデバイスにデプロイできます。ONNX Runtimeをインストールするとに含まれている、多くのボードアーキテクチャをサポートするパッケージが利用可能です。以下は、オンデバイスでのデプロイがユースケースに適しているかどうかを判断する際の考慮事項です。
オンデバイス推論を行うことの利点と制限
Section titled “オンデバイス推論を行うことの利点と制限”- より高速です。そうです、それほど強力ではないハードウェアで動作するように最適化されたモデルの場合、クライアントで直接推論を行うと、推論時間を短縮できます。
- より安全で、プライバシー保護に役立ちます。データが推論のためにデバイスから離れることがないため、より安全な推論方法です。
- オフラインで動作します。インターネット接続が失われても、モデルは引き続き推論できます。
- より安価です。推論をデバイスにオフロードすることで、クラウドのサービスコストを削減できます。
- モデルサイズの制限。デバイスにデプロイする場合は、デバイスで実行できるほど最適化され、十分に小さいモデルが必要です。
- ハードウェア処理の制限。モデルは、それほど強力ではないハードウェアで実行するように最適化する必要があります。