TensorRT-LLM
byNVIDIA
Welcome to TensorRT LLM’s Documentation! — TensorRT LLM
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
TensorRT LLM optimise l'inférence pour les LLM et les modèles de génération visuelle avec des noyaux spécialisés pour les opérations courantes, un runtime efficace et un cadre pythonique qui vous permet de personnaliser et d'étendre le système.
Open Source Health
- Stars
- 14,613
- Forks
- 2,739
- License
- Not stated
- Last commit
- 28 days ago
Python
Alternatives à TensorRT-LLM
SkillSpectorby NVIDIAScanner de sécurité pour les compétences des agents IA. Détecte les vulnérabilités, les modèles malveillants, les risques de sécurité, les injections de prompts, l'exfiltration de données et les risques liés à la chaîne d'approvisionnement dans les compétences Claude Code, Codex et MCP avant leur installation.- Nvbenchby NVIDIABibliothèque de benchmarking de kernels CUDA
- OSMOby NVIDIALa plateforme orientée développeur pour l'échelle des charges de travail complexes en IA physique à travers des calculs hétérogènes—unifiant les GPU d'entraînement, les clusters de simulation et les dispositifs en périphérie dans un simple YAML.
The Algorithmby TwitterCode source pour l'algorithme de recommandation X
Recommendersby TensorFlowTensorFlow Recommenders est une bibliothèque pour construire des modèles de systèmes de recommandation avec TensorFlow.
Resources & Links
Related Categories
Tu utilises TensorRT-LLM ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
NVIDIA
Publisher of DALI (NVIDIA Data Loading Library) and Tensorrt
