Eureka ML Insights
A framework for standardizing evaluations of large foundation models, beyond single-score reporting and rankings.
Über
Dieses Repository enthält den Code für das Eureka ML Insights Framework. Das Framework ist darauf ausgelegt, Forschern und Praktikern zu helfen, reproduzierbare Bewertungen generativer Modelle effizient durchzuführen, indem eine Vielzahl von Benchmarks und Metriken verwendet wird. Das Framework ermöglicht es dem Benutzer, benutzerdefinierte Pipelines für Datenverarbeitung, Inferenz und Bewertung zu definieren und bietet eine Reihe von vordefinierten Evaluierungspipelines für wichtige Benchmarks.
Open Source Health
- Stars
- 185
- Forks
- 41
- License
- Apache-2.0
- Last commit
- 4 months ago
Alternativen zu Eureka ML Insights
- Recognizers-Textvon MicrosoftRecognizers-Text bietet die Erkennung und Auflösung von Entitäten wie Zahlen, Daten und Einheiten in mehreren Sprachen.
Language Server Protocolvon MicrosoftDefiniert ein gemeinsames Protokoll für Sprachserver.- Azure AI Speechvon MicrosoftAzure Speech in Foundry Tools
- Lamar Benchmarkvon MicrosoftQuellcode für das ECCV 2022 Papier "Benchmarking Localization and Mapping for Augmented Reality".
- Pyrightvon MicrosoftStatischer Typprüfer für Python
Ressourcen & Links
Verwandte Kategorien
Nutzt du Eureka ML Insights?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Microsoft
Empower every person and organization to achieve more.
