Evals
byOpenai
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
Evals proporciona un marco para evaluar modelos de lenguaje grandes (LLMs) o sistemas construidos utilizando LLMs. Ofrecemos un registro existente de evals para probar diferentes dimensiones de los modelos de OpenAI y la capacidad de escribir tus propios evals personalizados para los casos de uso que te interesan. También puedes utilizar tus datos para construir evals privados que representen los patrones comunes de LLMs en tu flujo de trabajo sin exponer públicamente ninguno de esos datos.
Open Source Health
- Stars
- 19,444
- Forks
- 3,083
- License
- Not stated
- Last commit
- 6 months ago
Python
Alternativas a Evals
- Whisperby OpenaiReconocimiento de voz robusto a través de supervisión débil a gran escala.
- Skillsby OpenaiCatálogo de Skills para Codex
- Symphonyby OpenaiSymphony convierte el trabajo de proyectos en ejecuciones autónomas e isoladas, permitiendo a los equipos gestionar el trabajo en lugar de supervisar agentes de codificación.
Swarmby OpenaiMarco educativo que explora la orquestación multi-agente ergonómica y ligera. Gestionado por el equipo de soluciones de OpenAI.
The Algorithmby TwitterCódigo fuente para el Algoritmo de Recomendación X
Resources & Links
Related Categories
¿Usas Evals?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Openai
Publisher of Whisper, Skills and Symphony