2023年,高性能团队开源了大语言模型推理引擎OpenPPL-LLM。
2024年,团队会继续深耕LLM和多模态模型的AI infra。
欢迎各路高手加盟。
1. 参与团队内深度学习异构计算的研究和开发工作。
2. 参与OpenPPL的开源维护工作。
1. 计算机基础扎实,熟悉C/C++开发。
2. 熟悉基础的计算机体系结构和并行计算知识的优先。
3. 对CPU,GPU,DSP 或者AI 加速器中的任意一种具体架构有科研或者实习经验的优先。
4. 对高性能计算,异构计算,体系结构和性能优化工作有强烈的兴趣的优先。1. 负责业界主流端侧大模型推理框架的调研与实测。2. 支持公司内部AI基础设施的系统开发、维护以及业务广泛落地。1. 计算机基础扎实,熟悉python和C/C++。2. 了解云上或端侧任意一种大模型推理引擎,如trt.llm、mnn.llm、mlc等。4. 对计算优化、AI推理部署工作有强烈兴趣的优先。
1. 负责大模型产品的测试与评估相关工作,整理数据,发现模型badcase并进行多次调整,细化、扩展prompt提问场景与数据;
2. 搭建评测体系,开发自动化测试脚本,实现大模型多轮输出结果的结构化;3. 负责测试结果报告撰写及数据整理、分析及归档,协助算法进行模型效果状态跟进与支持;4. 与算法/研发团队密切合作,提供模型badcase的跟踪、修复与验证;5. 负责大模型部署服务的吞吐性能测试,整理服务测试报告。
1. 计算机/数学/信息/通信/软件工程等相关专业者优先;2. 熟悉python语言,能进行测试工具或自动化脚本的开发;3. 有大模型评测或测试工具使用经验人员优先,如Jmeter,postman,selenium等;4. 熟悉大模型常用推理工具的优先,比如vLLM、TensorRT-LLM、TGI等;5. 聪明、思维发散度高、具有很强的学习和独立解决问题的能力。1. 协助项目经理进行项目管理工作,优化部门管理规范,协调资源配置,协助处理部门日常运营管理事务2. 学习并使用项目管理工具及流程跟进内部研发日常工作,推动项目进度,确保项目正常运转3. 协助组织和管理开源社区活动,促进社区发展。
2. 有计算机/人工智能相关背景,能稳定实习4个月以上,每周至少4天;5. 熟练使用办公软件
1. 深入了解或参与过项目研发流程,包括需求、设计、开发、测试、上线、运维、质量等。 2. 对人工智能、大模型、深度学习有兴趣,并有相关的实践和应用经历。 3. 有项目管理相关的实习经历经验优先或者社区运营经验优先。
【轻松参会】为所有CCF收录会议
与期刊设立投稿交流群,后台回复会议名/期刊名即可进群。公众号文章会发布近期截稿会议、转投会议推荐、录用率趋势、录用分数分析等重要信息,同时会发布最新的CS/AI招聘招生信息。