Neural Compressor

SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime

LLM OrchestrationOpen Source AI & Machine LearningOpen Source

Tu utilises Neural Compressor ?

Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.

Ajouter à mon stack

Vendor

Intel

Publisher of Intel OpenVINO

View vendor profile

More by Intel