2 active products

vLLM

Publisher of Vllm

Consolidated Product Portfolio

Guidellm
Guidellm

Guidance platform for deploying and managing large language models.

Llm OrchestrationOpen Source
Vllm
Vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

Machine Learning Model TrainingCommercial

Company Profile & Strategy

Ein hochdurchsatzfähiger und speichereffizienter Inferenz- und Servicemotor für LLMs. vLLM veröffentlicht es auf vllm.ai. Hochdurchsatzfähiger und speichereffizienter Inferenz- und Servicemotor für große Sprachmodelle.

Open-Source Footprint

1 repository1.6K stars0 contributors

Related vendors

NVIDIANVIDIAIBMUberTidyverseTidyverse

Save & manage the vendor's products in Productapp.

Save and manage this vendor's products in Productapp.

Start free trialWebsite

Quick Links

Website

vllm.ai

Related vendors

NVIDIAIBMUberTidyverse