Swiss Army Llama

Lo Swiss Army Llama è progettato per facilitare e ottimizzare il processo di lavoro con LLM locali utilizzando FastAPI per esporre endpoint REST convenienti per vari compiti, inclusa l'ottenimento di embedding testuali e completamenti utilizzando diversi LLM tramite llama_cpp, oltre ad automatizzare il processo di ottenimento di tutti gli embedding per i tipi di documenti più comuni, inclusi PDF (anche quelli che richiedono OCR), file Word, ecc.; consente persino di inviare un file audio e lo trascrive automaticamente con il modello Whisper, pulisce il testo risultante e poi calcola gli embedding per esso. Per evitare di sprecare risorse di calcolo, questi embedding vengono memorizzati nella cache in SQlite e recuperati se sono già stati calcolati in precedenza. Per accelerare il processo di caricamento di più LLM, possono essere utilizzati dischi RAM opzionali, e il processo per crearli e gestirli è gestito automaticamente per te. Con un processo di configurazione rapido e semplice, avrai immediatamente accesso a un vero "coltello svizzero" di strumenti legati agli LLM, tutti accessibili tramite un'interfaccia Swagger conveniente e pronti per essere integrati nelle tue applicazioni con il minimo sforzo o configurazione richiesta.