TinyChatEngine
TinyChatEngine: On-Device LLM Inference Library
Machine Learning Model TrainingML FrameworksOpen Source
About
Ejecutar grandes modelos de lenguaje (LLMs) y modelos de lenguaje visual (VLMs) en el edge es útil: servicios de copiloto (codificación, oficina, respuesta inteligente) en laptops, coches, robots y más. Los usuarios pueden obtener respuestas instantáneas con mejor privacidad, ya que los datos son locales.
Open Source Health
- Stars
- 962
- Forks
- 102
- License
- MIT
- Last commit
- 2 years ago
C++
Alternativas a TinyChatEngine
Rclipby Yurij MikhalevichBúsqueda semántica de fotos para la línea de comandos
ChineseNERby jingyuanzhangUn modelo de red neuronal para el reconocimiento de entidades nombradas en chino.
Head Pose Estimationby Yin GuobingEstimación de la pose de la cabeza humana en tiempo real con ONNXRuntime y OpenCV.
Video Subtitle Extractorby 天涯古巷视频硬字幕提取，生成srt文件。无需申请第三方API，本地实现文本识别。基于深度学习的视频字幕提取框架，包含字幕区域检测、字幕内容提取。A GUI tool for extracting hard-coded subtitle (hardsub) from videos and generating srt files.
U 2 Netby Xuebin QinEl código de nuestro artículo recientemente aceptado en Pattern Recognition 2020: "U^2-Net: Profundizando con Estructura U Anidada para Detección de Objetos Salientes."
Resources & Links
Related Categories
¿Usas TinyChatEngine?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
MIT HAN Lab
Efficient AI Computing. PI: Song Han
