Swiss Army Llama

Le Swiss Army Llama est conçu pour faciliter et optimiser le processus de travail avec des LLMs locaux en utilisant FastAPI pour exposer des points de terminaison REST pratiques pour diverses tâches, y compris l'obtention d'embeddings de texte et de complétions en utilisant différents LLMs via llama_cpp, ainsi que l'automatisation du processus d'obtention de tous les embeddings pour les types de documents les plus courants, y compris les PDFs (même ceux nécessitant de l'OCR), les fichiers Word, etc.; il permet même de soumettre un fichier audio et le transcrit automatiquement avec le modèle Whisper, nettoie le texte résultant, puis calcule les embeddings pour celui-ci. Pour éviter de gaspiller des ressources de calcul, ces embeddings sont mis en cache dans SQlite et récupérés s'ils ont déjà été calculés auparavant. Pour accélérer le processus de chargement de plusieurs LLMs, des disques RAM optionnels peuvent être utilisés, et le processus de création et de gestion de ceux-ci est géré automatiquement pour toi. Avec un processus de configuration rapide et facile, tu auras immédiatement accès à un véritable "couteau suisse" d'outils liés aux LLM, tous accessibles via une interface Swagger pratique et prêts à être intégrés dans tes propres applications avec un minimum de tracas ou de configuration requise.