返回
中科闻歌“雅意”大模型已开源基于 LLaMA-2 的中文优化模型版本 ，探索适用于中文多领域任务的最新实践。目前7B及13B两个版本已在HuggingFace、GitHub平台开源，向行业开发者开放。
雅意大模型通过真实场景人类反馈数据进行数据分布采样，数据涵盖通用任务指令数据、多轮对话数据、多领域分析任务数据、安全增强数据等。模型基于 DeepSpeed ZeRO 技术与 Huggingface Trainer 进行多机多卡分布式全参数指令微调，并基于 pagedAttention 等技术实现高效并行推理。
与初代雅意大模型相比，雅意大模型（LLaMa-2版本）具有如下优势：
1、更强大的性能： 效果评测显示，雅意大模型在基础能力、领域能力及安全性方面，较之前均有更优表现。模型推理速度比初代提升7-10倍，上下文窗口大小由2k提升至4k，能够支持更多轮次的对话。在HuggingFace Open LLM Leaderboard中，平均得分54.4。
2、更加安全可控： 雅意大模型针对偏见性、违法犯罪、道德伦理、指令攻击、反向诱导等11项安全场景进行了升级，安全性、可控性大幅提升。HuggingFace Open LLM Leaderboard中，雅意TruthfulQA得分相较于Meta LLaMa-2 提升13.4% 。
雅意LLaMA-2中文调优开源模型来了！HuggingFace和Github可下载
来源：
发布时间：2023/08/08
浏览量：
模型下载地址
GitHub
HuggingFace
13B版本 7B版本
1、更强大的性能： 效果评测显示，雅意大模型在基础能力、领域能力及安全性方面，较之前均有更优表现。模型推理速度比初代提升7-10倍，上下文窗口大小由2k提升至4k，能够支持更多轮次的对话。在HuggingFace Open LLM Leaderboard中，平均得分54.4。
HuggingFace大语言模型排行榜
业务合作
在线留言
在线咨询