TensorRT-LLM
byNVIDIA
Welcome to TensorRT LLM’s Documentation! — TensorRT LLM
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
TensorRT LLM ottimizza l'inferenza per LLM e modelli di Visual Gen con kernel specializzati per operazioni comuni, un runtime efficiente e un framework pythonico che consente di personalizzare ed estendere il sistema.
Open Source Health
- Stars
- 14,613
- Forks
- 2,739
- License
- Not stated
- Last commit
- 28 days ago
Python
Alternative a TensorRT-LLM
SkillSpectorby NVIDIAScanner di sicurezza per le competenze degli agenti AI. Rileva vulnerabilità, schemi malevoli, rischi di sicurezza, iniezione di prompt, esfiltrazione di dati e rischi della supply chain in Claude Code, Codex e MCP prima dell'installazione.- Nvbenchby NVIDIALibreria di benchmarking per kernel CUDA
- OSMOby NVIDIALa piattaforma per sviluppatori per scalare carichi di lavoro complessi di AI Fisica attraverso calcolo eterogeneo – unificando GPU di addestramento, cluster di simulazione e dispositivi edge in un semplice YAML.
The Algorithmby TwitterCodice sorgente per l'Algoritmo di Raccomandazione X
Recommendersby TensorFlowTensorFlow Recommenders è una libreria per costruire modelli di sistemi di raccomandazione utilizzando TensorFlow.
Resources & Links
Related Categories
Usi TensorRT-LLM?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
NVIDIA
Publisher of DALI (NVIDIA Data Loading Library) and Tensorrt
