Evals
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.
Über
Evals bietet ein Framework zur Bewertung von großen Sprachmodellen (LLMs) oder Systemen, die mit LLMs erstellt wurden. Wir stellen ein bestehendes Register von Evals zur Verfügung, um verschiedene Dimensionen der OpenAI-Modelle zu testen, sowie die Möglichkeit, eigene benutzerdefinierte Evals für relevante Anwendungsfälle zu schreiben. Sie können auch Ihre Daten verwenden, um private Evals zu erstellen, die die gängigen LLM-Muster in Ihrem Workflow darstellen, ohne diese Daten öffentlich zugänglich zu machen.
Open Source Health
- Stars
- 19,444
- Forks
- 3,083
- License
- Not stated
- Last commit
- 6 months ago
Alternativen zu Evals
- Whispervon OpenaiRobuste Spracherkennung durch großangelegte schwache Überwachung.
- Skillsvon OpenaiSkills-Katalog für Codex
- Symphonyvon OpenaiSymphony verwandelt Projektarbeit in isolierte, autonome Implementierungsdurchläufe, sodass Teams die Arbeit verwalten können, anstatt Codierungsagenten zu überwachen.
Swarmvon OpenaiBildungsrahmen zur Erkundung ergonomischer, leichter Multi-Agenten-Orchestrierung. Verwalten durch das OpenAI Solution-Team.
The Algorithmvon TwitterQuellcode für den X Recommendation Algorithm.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Evals?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Openai
Publisher of Whisper, Skills and Symphony