JAM: A Tiny Flow-based Song Generator with Fine-grained Controllability and Aesthetic Alignment

AI Voice SynthesisVoice, Speech & Audio AIOpen Source

About

JAM è un modello rettificato basato su flusso per la generazione di testi in canzoni che affronta la mancanza di controllo fine a livello di parola nei modelli esistenti di testi in canzoni. Costruito su un'architettura compatta di 530 milioni di parametri con 16 strati di Transformer in stile LLaMA come backbone del Diffusion Transformer (DiT), JAM consente un controllo vocale preciso che i musicisti desiderano nei loro flussi di lavoro. A differenza dei modelli precedenti, JAM fornisce un controllo del timing a livello di parola e fonema, consentendo ai musicisti di specificare il posizionamento esatto di ogni suono vocale per una maggiore flessibilità ritmica e un timing espressivo.

Open Source Health

Not enough history
Stars
169
Forks
19
License
Not stated
Last commit
1 years ago
Python

Resources & Links

Related Categories

Usi Jamify?

Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.

Aggiungi al mio stack

Vendor

Deep Cognition and Language Research (DeCLaRe) Lab

Open-source projects on GitHub: Conv Emotion, Tango and MELD

View vendor profile

More by Deep Cognition and Language Research (DeCLaRe) Lab