ONNX Runtimeとは？機能や特徴・製品の概要まとめ
ONNX Runtime
Microsoft
ONNX Runtimeのプロダクト概要
ONNX Runtimeとは
ONNX Runtimeは、ONNX形式のMLモデルをあらゆるプラットフォームやハードウェアで高速に推論できるクロスプラットフォームランタイムで、LLMも多数サポートしています。
| 利用企業数 | 非公開 | 日本語サポート | なし | 無料トライアル | なし |
|---|---|---|---|---|---|
| カスタマーサクセス | なし | 公式ドキュメント | あり |
ONNX Runtimeの特徴
1. Wide LLM Architecture Support
LLaMA、GPT Neo、BLOOMなど80以上の人気LLMアーキテクチャをサポートします。
2. Cross-Platform Inference Engine
Python、C#、JavaScriptなどさまざまな言語や環境に対応し、Web（ONNX Runtime Web）でも動作可能です。
3. Hardware Acceleration & Optimization
Azure MLなどとの統合やハードウェアアクセラレーションにより最適な推論を実現します。