5、智源研究院开源18种语言文图生成模型昨日,智源研究院宣布开源AltDiffusion-m18模型。AltDiffusion-m18模型支持18种语言的文图生成,包括中文、英文、日语、泰语、韩语、印地语、乌克兰语、阿拉伯语、土耳其语、越南语、波兰语、荷兰语、葡萄牙语、意大利语、西班牙语、德语、法语、俄语。当前,非英文文图生成模型选择有限,用户往往要将prompt翻译成英语再输入模型,这样会导致操作复杂并影响生成图片的准确性。智源研究院FlagAI团队首创高效训练方式,使用多语言预训练模型和Stable Diffusion结合,训练出多语言文图生成模型AltDiffusion-m18。AltDiffusion-m18在英文的FID、IS、CLIP score客观评测上达到了Stable Diffusion 95~99% 效果,在中文、日文上达到了最优水平,同时填补了其余15种语言文图生成模型的空白,极大满足了产业界对于多语言文图生成的强烈需求。相关创新技术报告《AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities》已被Findings of ACL 2023接收。项目地址:https://huggingface.co/BAAI/AltDiffusion-m18https://github.com/FlagAI-Open/FlagAI/blob/master/examples/AltDiffusion-m186、中科院正打造“紫东太初”2.0全模态大模型