Optimum Onnx
vonHugging Face
🤗 Optimum ONNX: Export your model to ONNX and run inference with ONNX Runtime
ModellbereitstellungMLOps & ExperimentverfolgungOpen Source
Über
Um Konflikte zwischen onnxruntime und onnxruntime-gpu zu vermeiden, stelle sicher, dass das Paket onnxruntime nicht installiert ist, indem du pip uninstall onnxruntime ausführst, bevor du Optimum installierst.
Open Source Health
- Stars
- 159
- Forks
- 56
- License
- Apache-2.0
- Last commit
- 3 months ago
Python
Alternativen zu Optimum Onnx
Optimumvon Hugging Face🚀 Beschleunige die Inferenz und das Training von 🤗 Transformers, Diffusers, TIMM und Sentence Transformers mit einfach zu bedienenden Hardware-Optimierungstools.
CHaiDNNvon XilinxHLS-basierte Beschleunigerbibliothek für tiefe neuronale Netzwerke für Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkvon Soul AI LabSoulX-FlashTalk ist das erste 14B-Modell, das eine Startlatenz von unter einer Sekunde (0,87 s) erreicht und gleichzeitig einen Echtzeit-Durchsatz von 32 FPS auf einem 8xH800-Knoten beibehält.
Ts Patternvon Gabriel VergnaudDie umfassende Pattern Matching-Bibliothek für TypeScript mit intelligenter Typinferenz.
Nobodywhovon NobodyWhoNobodyWho ist eine Inferenz-Engine, mit der du LLMs lokal und effizient auf jedem Gerät ausführen kannst.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Optimum Onnx?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Hugging Face
Publisher of Speech To Speech, Diffusers and Optimum
