GitHub：github.com/meta-llama/llama3
【Meta发布Llama 3，新一代开源大型语言模型】
- Meta发布了第三代开源大模型Meta Llama 3，包括8B和70B参数两种规模的预训练语言模型。这是目前同规模参数下开源领域的最优模型。
- Llama 3在多项业界基准测试上展现出领先的性能，尤其是在推理和编码等方面有明显改进。Meta通过预训练数据量的扩大、模型并行和管道并行等方式实现了模型训练的大规模化。
- 为了让Llama 3对话用例的表现更优，Meta开发了指令微调技术，结合监督微调、拒绝抽样、近端策略优化等方法。提示质量和偏好排序对模型性能有很大影响。
- Meta采用系统层面的方法确保Llama 3的安全可控，不仅微调了模型，还提供了 Llama Guard 2、Code Shield 和 CyberSec Eval 2等信任与安全工具。
- Llama 3将在各大云平台部署，支持多语言、长上下文和多模态输入。Meta还开发了torchtune等辅助开发Llama 3的开源工具。
- Meta正在开发超过400B参数的Llama 3模型，未来会开源发布。Meta AI助手已经集成了Llama 3，用户可以在不同的Meta产品上使用体验。
《Introducing Meta Llama 3: The most capable openly available LLM to date》
网页链接 #机器学习# #人工智能#
- Meta发布了第三代开源大模型Meta Llama 3，包括8B和70B参数两种规模的预训练语言模型。这是目前同规模参数下开源领域的最优模型。
- Llama 3在多项业界基准测试上展现出领先的性能，尤其是在推理和编码等方面有明显改进。Meta通过预训练数据量的扩大、模型并行和管道并行等方式实现了模型训练的大规模化。
- 为了让Llama 3对话用例的表现更优，Meta开发了指令微调技术，结合监督微调、拒绝抽样、近端策略优化等方法。提示质量和偏好排序对模型性能有很大影响。
- Meta采用系统层面的方法确保Llama 3的安全可控，不仅微调了模型，还提供了 Llama Guard 2、Code Shield 和 CyberSec Eval 2等信任与安全工具。
- Llama 3将在各大云平台部署，支持多语言、长上下文和多模态输入。Meta还开发了torchtune等辅助开发Llama 3的开源工具。
- Meta正在开发超过400B参数的Llama 3模型，未来会开源发布。Meta AI助手已经集成了Llama 3，用户可以在不同的Meta产品上使用体验。
《Introducing Meta Llama 3: The most capable openly available LLM to date》
网页链接 #机器学习# #人工智能#
