媒体深度融合发展,多方共推全媒体多模态大模型研发
12月5日,第九届中国新兴媒体产业融合发展大会在海南博鳌举行。中国科学院自动化研究所、新华社技术局、媒体融合生产技术与系统国家重点实验室联合发布“全媒体多模态大模型研发计划”,将在媒体科技领域进行全新合作,通过技术创新推动媒体融合发展。中科院自动化研究所研究员、中科闻歌董事长王磊参加计划发布。
此次计划研发的“全媒体多模态大模型”,将基于中科院自动化所“闻海”多模态媒体大数据和“紫东太初”三模态大模型核心技术积累,面向新华社技术局、媒体融合生产技术与系统国家重点实验室等部门的业务领域模型,构建“大数据+大模型+多模态”的多任务统一学习体系,以及“知识与数据混合驱动”的可信建模方式,从而实现对全媒体数据理解与生成的统一建模,打造全栈国产化媒体人工智能平台。
会上,媒体融合生产技术与系统国家重点实验室主任、新华融媒科技董事长、总裁徐姗娜指出,推进深度融合的关键,在于主流媒体要结合职能定位,以用户为中心,以需求侧倒逼供给侧结构性改革,着眼生产效能、强调科技驱动,通过数字化转型夯实智能化底座,形成“后发优势”,实现跨越发展,重塑互联网时代主流媒体的权威地位。
中国科学院自动化研究所王金桥研究员在会上分享了“紫东太初”三模态大模型与媒体业务融合方面的新进展,介绍了内容理解、图像生成、视频生成等方面的性能提升,展示了多模态对话虚拟人“小初”在高清图片生成、新闻续写和热点新闻的发现能力。
“紫东太初”三模态大模型兼具跨模态理解和生成能力,结合新华社在海量全媒体数据积累和媒体融合业务场景,共同打造“全媒体多模态大模型”,将加速推动AI在如视频配音、语音播报、标题摘要、海报创作等更多元媒体业务场景的应用。
当前,媒体融合已经迈入深水区,“全媒体多模态大模型”的联合研发计划,是主流媒体与科研院所合作的有益尝试,也是高性能算力、算法赋能媒体业务创新的积极实践,对我国实现媒体领域科技创新具有重要的战略意义。未来,中国科学院自动化研究所、新华社技术局、媒体融合生产技术与系统国家重点实验室将充分发挥各自科研积累、传播渠道、网络资源、领域人才等优势,进一步探索全媒体时代科研创新的协作链条与合作模式,以跨界融合之力推动媒体融合智能化发展。
据悉,本次大会以“新赛道,新融合,新机遇”为主题,由新华社民族品牌工程办公室、新华社新媒体中心、媒体融合生产技术与系统国家重点实验室共同主办,吸引了来自主管部门、新闻单位、行业主体、研究机构等百余位行业专家和业内精英人士莅会,围绕5G、元宇宙、数字化转型、媒体跨界融合等热点话题和热门领域展开探讨。