生态发布会|天津大学计算机学院张鹏分享自然语言的量子不确定性理论和方法
2021年12月21日,“数智驱动决策”中科闻歌首届大数据与决策智能生态发布会在北京召开。会上,天津大学计算机学院副院长张鹏作了题为《自然语言的量子不确定性理论和方法》的主题报告,介绍了如何使用量子力学解决自然语言不确定性难题这个研究方向的进展与成果。
针对自然语言不确定性的量子表示问题,张鹏及其团队提出使用量子多体来表示自然语言的一词多义以及词语间的复杂交互,把词语性的复杂交互很好地利用量子多体来进行表示,并进一步利用张量分解、投影测量等技术简化大张量计算语言复杂度,同时推导出量子多体语言模型和卷积神经网络之间的本质联系。
针对现在大规模预训练语言模型参数量巨大的问题,张鹏及其团队将参数矩阵重整化为量子多体表示,再使用张量分解技术大幅压缩模型参数,还提出了张量化的Transformer语言模型,使用核张量重构多线性自注意力机制,大幅压缩模型参数。
基于量子多体的模型压缩(图片来自张鹏副院长演讲方案)
针对现有语言建模无法合理兼顾语义和语法的问题,他介绍剑桥大学的一项工作,该工作提出了基于前群缩并技术的语言建模方法,将现有的语言的象征性方法和分布式方法进行了有效结合。分布组合语义模型(CSC)可以移植到了量子计算平台,不仅大幅度提升了计算资源的利用率,还大大降低了计算的复杂度。