SpeechT5

Motiviert durch den Erfolg von T5 (Text-To-Text Transfer Transformer) in vortrainierten Modellen der natürlichen Sprachverarbeitung, schlagen wir ein vereinheitlichtes Modal SpeechT5-Framework vor, das das Encoder-Decoder-Vortraining für das selbstüberwachte Lernen von Sprach-/Textdarstellungen untersucht. Das SpeechT5-Framework besteht aus einem gemeinsamen Encoder-Decoder-Netzwerk und sechs modal-spezifischen (Sprache/Text) Vor-/Nach-Netzen. Nach der Vorverarbeitung der Eingabesprache/-text durch die Vor-Netze modelliert das gemeinsame Encoder-Decoder-Netzwerk die Sequenz-zu-Sequenz-Transformation, und dann erzeugen die Nach-Netze die Ausgabe in der Sprach-/Textmodalität basierend auf der Ausgabe des Decoders.