JAM: A Tiny Flow-based Song Generator with Fine-grained Controllability and Aesthetic Alignment

AI Voice SynthesisVoice, Speech & Audio AIOpen Source

About

JAM est un modèle rectifié basé sur le flux pour la génération de paroles en chansons qui traite du manque de contrôle fin au niveau des mots dans les modèles existants de paroles en chansons. Construit sur une architecture compacte de 530 millions de paramètres avec 16 couches de Transformer de style LLaMA comme colonne vertébrale du Diffusion Transformer (DiT), JAM permet un contrôle vocal précis que les musiciens souhaitent dans leurs flux de travail. Contrairement aux modèles précédents, JAM fournit un contrôle du timing au niveau des mots et des phonèmes, permettant aux musiciens de spécifier le placement exact de chaque son vocal pour une flexibilité rythmique améliorée et un timing expressif.

Open Source Health

Not enough history
Stars
169
Forks
19
License
Not stated
Last commit
1 years ago
Python

Resources & Links

Related Categories

Tu utilises Jamify ?

Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.

Ajouter à mon stack

Vendor

Deep Cognition and Language Research (DeCLaRe) Lab

Open-source projects on GitHub: Conv Emotion, Tango and MELD

View vendor profile

More by Deep Cognition and Language Research (DeCLaRe) Lab