Bi Att Flow

Bi-directional Attention Flow (BiDAF) network is a multi-stage hierarchical process that represents context at different levels of granularity and uses a bi-directional attention flow mechanism to achieve a query-aware context representation without early summarization.

NLP & Text AnalysisOpen Source AI & Machine LearningOpen Source

About

El modelo tiene ~2.5 millones de parámetros. El modelo fue entrenado con NVidia Titan X (Arquitectura Pascal, 2016). El modelo requiere al menos 12 GB de RAM de GPU. Si tu RAM de GPU es menor de 12 GB, puedes disminuir el tamaño del lote (el rendimiento podría degradarse) o puedes usar múltiples GPUs (ver más abajo). El entrenamiento converge en ~18,000 pasos y tomó ~4 segundos por paso (es decir, ~20 horas).

Open Source Health

Not enough history
Stars
1,546
Forks
667
License
Apache-2.0
Last commit
3 years ago
Python

Resources & Links

Related Categories

¿Usas Bi Att Flow?

Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.

Añadir a mi stack

Vendor

Allenai

Publisher of Dont Stop Pretraining, Objaverse Xl and Procthor

View vendor profile

More by Allenai