Bi Att Flow
Bi-directional Attention Flow (BiDAF) network is a multi-stage hierarchical process that represents context at different levels of granularity and uses a bi-directional attention flow mechanism to achieve a query-aware context representation without early summarization.
About
Le modèle a ~2,5 millions de paramètres. Le modèle a été entraîné avec NVidia Titan X (Architecture Pascal, 2016). Le modèle nécessite au moins 12 Go de RAM GPU. Si ta RAM GPU est inférieure à 12 Go, tu peux soit diminuer la taille du lot (les performances pourraient se dégrader), soit utiliser plusieurs GPU (voir ci-dessous). L'entraînement converge après ~18 000 étapes et a pris ~4 secondes par étape (c'est-à-dire ~20 heures).
Open Source Health
- Stars
- 1,546
- Forks
- 667
- License
- Apache-2.0
- Last commit
- 3 years ago
Alternatives à Bi Att Flow
- Dont Stop Pretrainingby AllenaiCode associé au document ACL 2020 de Don't Stop Pretraining.
Textrankby Summa NLPImplémentation de TextRank pour Python 3.
KoBERTby SK T-BrainKorean BERT pré-entraîné (KoBERT)
TAADpapersby THUNLPArticles incontournables sur les attaques et défenses adversariales textuelles.
AutoPhraseby Jingbo ShangAutoPhrase : extraction automatisée de phrases à partir de corpus de texte massifs
Resources & Links
Related Categories
Tu utilises Bi Att Flow ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Allenai
Publisher of Dont Stop Pretraining, Objaverse Xl and Procthor