Tensorrt

TensorRT es un ecosistema de herramientas diseñado para que los desarrolladores mejoren el rendimiento de la inferencia de aprendizaje profundo. Incluye componentes como compiladores de inferencia, entornos de ejecución y optimizaciones de modelos que tienen como objetivo reducir la latencia y aumentar el rendimiento para aplicaciones de producción. El kit de herramientas admite varias técnicas de cuantización y está construido sobre el modelo de programación paralela NVIDIA CUDA, lo que lo hace adecuado para su implementación en una variedad de dispositivos, desde centros de datos hasta dispositivos de borde.