SentencePiece
byGoogle
Unsupervised text tokenizer for Neural Network-based text generation.
NLP & Text AnalysisOpen Source AI & Machine LearningOpen Source
About
SentencePiece è un tokenizzatore e detokenizzatore di testo veloce, leggero e non supervisionato, progettato per sistemi di generazione di testo basati su reti neurali (come i modelli di linguaggio di grandi dimensioni) in cui la dimensione del vocabolario è fissa prima dell'addestramento.
Open Source Health
- Stars
- 12,075
- Forks
- 1,379
- License
- Apache-2.0
- Last commit
- 1 months ago
C++
Alternative a SentencePiece
Textrankby Summa NLPImplementazione di TextRank per Python 3.
KoBERTby SK T-BrainBERT coreano pre-addestrato (KoBERT)
TAADpapersby THUNLPArticoli imperdibili su attacchi e difese avversariali testuali.
AutoPhraseby Jingbo ShangAutoPhrase: Estrazione automatizzata di frasi da grandi corpora testuali
Recognizers-Textby MicrosoftRecognizers-Text offre riconoscimento e risoluzione di entità come numeri, date e unità in più lingue.
Resources & Links
Related Categories
Usi SentencePiece?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Organize the world's information and make it universally accessible.
