社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

【MLX-Textgen:一款轻量Python包,用于在兼容Op-20241003151722

爱可可-爱生活 • 3 月前 • 97 次点击  

2024-10-03 15:17

【MLX-Textgen:一款轻量Python包,用于在兼容OpenAI的API端点上提供大型语言模型(LLM)服务,并通过MLX实现智能缓存,让文本生成更流畅】'MLX-Textgen - A python package for serving LLM on OpenAI-compatible API endpoints with prompt caching using MLX.' GitHub: github.com/nath1295/MLX-Textgen #文本生成##API服务##智能缓存#
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/174637
 
97 次点击