【MLX-Textgen:一款轻量Python包,用于在兼容OpenAI的API端点上提供大型语言模型(LLM)服务,并通过MLX实现智能缓存,让文本生成更流畅】'MLX-Textgen - A python package for serving LLM on OpenAI-compatible API endpoints with prompt caching using MLX.' GitHub: github.com/nath1295/MLX-Textgen
#文本生成##API服务##智能缓存#