Swiss Army Llama

El Swiss Army Llama está diseñado para facilitar y optimizar el proceso de trabajo con LLMs locales utilizando FastAPI para exponer puntos finales REST convenientes para diversas tareas, incluyendo la obtención de embeddings de texto y completaciones usando diferentes LLMs a través de llama_cpp, así como automatizar el proceso de obtención de todos los embeddings para los tipos de documentos más comunes, incluyendo PDFs (incluso aquellos que requieren OCR), archivos de Word, etc.; incluso permite enviar un archivo de audio y lo transcribe automáticamente con el modelo Whisper, limpia el texto resultante y luego calcula los embeddings para él. Para evitar desperdiciar computación, estos embeddings se almacenan en caché en SQlite y se recuperan si ya se han calculado antes. Para acelerar el proceso de carga de múltiples LLMs, se pueden usar discos RAM opcionales, y el proceso para crearlos y gestionarlos se maneja automáticamente para ti. Con un proceso de configuración rápido y fácil, tendrás acceso inmediato a una verdadera "navaja suiza" de herramientas relacionadas con LLM, todas accesibles a través de una conveniente interfaz Swagger y listas para integrarse en tus propias aplicaciones con un mínimo de complicaciones o configuración requerida.