(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111629710.7 (22)申请日 2021.12.28 (71)申请人 上海畅圣计算机科技有限公司 地址 200433 上海市杨 浦区黄兴 路2005弄2 号 （B楼） 70 6-9室 (72)发明人 李电祥　毛骏　陈学珉　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 韩宏星 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/284(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 Rasa框架下的智能问答方法、 系统、 装置及 存储介质 (57)摘要 本申请公开了一种Rasa框架下的智能问答 方法、 系统、 装置及计算机 可读存储介质， 利用意 图分类和实体识别联合模型分析语句， 得到语句 的实体信息以及用户意图； 使用新的意图分类和 实体识别联合模型， 能够整体加快语句分析速 度， 提高问答效率， 利用采用相对位置编码的 transformer模型， 打破了 特征之间的位置关系， 不再有位置之间的约束关系， 能够更加深入的发 现更多的隐形信息， 提高了模型的分析精准度， 提升了智能问答的准确度， 最后基于Rasa框架中 的Rasa对话管理模块根据实体信息与用户意图， 反馈给用户相匹配的对话， 完成智能问答过程。 权利要求书2页 说明书10页 附图6页 CN 114281973 A 2022.04.05 CN 114281973 A 1.一种Rasa框架下的智能问答方法， 其特 征在于， 包括： 接收用户输入的语句； 利用意图分类和实体识别联合模型分析所述语句， 得到所述语句的实体信 息以及用户 意图； 其中， 所述意图分类和实体识别联合模型包括依次相连的ALBERT预训练模型、 transformer模型、 Bi ‑LSTM模型和softmax 模型； 利用Rasa对话管理模块接收所述实体信息和所述用户意图； 根据所述用户意图， 所述Rasa对话管理模块选择相应的对话模式； 所述Rasa对话管理模块利用所述实体信息从与所述对话模式对应的数据库中匹配相 应的回答对话， 并反馈给 所述用户； 其中， 所述t ransformer模型中采用相对位置编码。 2.根据权利要求1所述的Rasa框架下的智能问答方法， 其特征在于， 所述利用意图分类 和实体识别联合模型分析 所述语句， 得到所述语句的实体信息以及用户意图的过程， 包括： 利用所述ALBERT预训练模型将所述语句转换为向量 化矩阵； 利用所述t ransformer模型分析 所述向量 化矩阵， 得到第一输出； 利用所述Bi ‑LSTM模型分析 所述第一输出， 得到第二输出； 利用所述softmax 模型分析 所述第二输出， 得到所述语句的实体信息以及用户意图。 3.根据权利要求2所述的Rasa框架下的智能问答方法， 其特征在于， 所述利用所述 ALBERT预训练模型将所述语句转换为向量 化矩阵的过程， 包括： 利用所述ALBERT预训练模型对所述语句进行向量 化表示， 得到embed ding参数矩阵。 4.根据权利要求3所述的Rasa框架下的智能问答方法， 其特征在于， 所述利用所述 transformer模型分析 所述向量 化矩阵， 得到第一输出的过程， 包括： 所述transformer模型利用多层transformer结构实现repeat操作多次分析所述向量 化矩阵， 得到所述第一输出。 5.根据权利要求4所述的Rasa框架下的智能问答方法， 其特征在于， 所述利用所述 ALBERT预训练模型对所述语句进行向量 化表示， 得到embed ding参数矩阵之后， 还 包括： 利用所述embedding参数矩阵与所述transformer模型输出的原始第一输出进行做比 较计算残差值， 进行恒等映射， 得到所述第一输出。 6.根据权利要求1至5任一项所述的Rasa框架下的智能问答方法， 其特征在于， 所述 transformer模型中的self ‑attention的new_at tention函数表达式为： 式中， new_att ention(Q,K,V)表示new_att ention函数， random(Q)表示增加随机值后， 并保持向量维度不变的query向量， Q表示self ‑attention中的query向量， K表示self ‑ attention中的key向量， V表示self ‑attention中的value向量， dk表示Q、 K和V三个矩阵的 维度， T表示矩阵转置 。 7.一种Rasa框架下的智能问答系统， 其特 征在于， 包括： 语句接收模块， 用于 接收用户输入的语句； 联合分析模块， 用于利用意图分类和实体识别联合模型分析所述语句， 得到所述语句权　利　要　求　书 1/2 页 2 CN 114281973 A 2的实体信息以及用户意图； 其中， 所述意图分类和实体识别联合模型包括依次相连的 ALBERT预训练模型、 t ransformer模型、 Bi ‑LSTM模型和softmax 模型； 对话管理模块， 用于利用Rasa对话管理模块接收所述实体信息和所述用户意图； 对话模式选择模块， 用于根据所述用户意 图， 所述Rasa对话管理模块选择相应的对话 模式； 对话反馈模块， 用于所述Rasa对话管理模块利用所述实体信息从与所述对话模式对应 的数据库中匹配相应的回答对话， 并反馈给 所述用户； 其中， 所述t ransformer模型中采用相对位置编码。 8.根据权利要求7所述的Rasa框架下的智能问答系统， 其特征在于， 所述联合分析模 块， 包括： 向量化单元， 用于利用所述ALBERT预训练模型将所述语句转换为向量 化矩阵； transformer模型单元， 用于利用所述transformer模型分析所述向量化矩阵， 得到第 一输出； Bi‑LSTM模型 单元， 用于利用所述Bi ‑LSTM模型分析 所述第一输出， 得到第二输出； softmax模型单元， 用于利用所述softmax模型分析所述第二输出， 得到所述语句的实 体信息以及用户意图。 9.一种Rasa框架下的智能问答装置， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序以实现如权利要求1至6任一项所述的Rasa框架下的 智能问答方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至6任一项 所述的Rasa框架下的智 能问答方法。权　利　要　求　书 2/2 页 3 CN 114281973 A 3