(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111640662.1 (22)申请日 2021.12.2 9 (71)申请人 绍兴兰红智能科技有限公司 地址 312000 浙江省绍兴 市柯桥区柯桥 街 道群贤路20 03号1105室 (72)发明人 徐嘉昊　张帆　 (74)专利代理 机构 绍兴市寅越专利代理事务所 (普通合伙) 33285 代理人 潘敏 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/215(2019.01) G06F 40/279(2020.01) G06F 40/30(2020.01) (54)发明名称 一种基于注意力和有效程度的BERT模型打 分方法 (57)摘要 本发明涉及打分方法技术领域， 具体涉及一 种基于注意力和有效程度的BERT模型打分方法， 包括以下步骤： (1)取待打分的数据集， 将数据集 进行有效程度的预处理， (2)在BERT模型的网络 层后， 引入注意力机制， (3)采用引入注意力机制 的BERT模型， 对预处理后的数据集进行打分处 理； 本发明针对待打分的数据集， 通过对数据清 洗， 能够有效的去除数据中的无关符号， 有效的 提升了数据集中数据的有效程度， 采用具有很强 特征抽取能力的BERT模型进行打分处理， 并在 BERT模型中引入注意力机制， 极大的提升了BERT 模型的性能， 可以关注句子中不同类别的语义信 息， 能够在提升注意力和有效程度的基础上， 有 效的实现 打分的准确性以及速度。 权利要求书1页 说明书4页 附图1页 CN 114330556 A 2022.04.12 CN 114330556 A 1.一种基于注意力和有效程度的BERT模型打 分方法， 其特 征在于， 包括以下步骤： (1)获取待打 分的数据集， 将数据集进行有效程度的预处 理； (2)在BERT模型的网络层后， 引入注意力机制； (3)采用引入注意力机制的BERT模型， 对预处 理后的数据集进行打 分处理。 2.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤(1)中， 对数据集进行有效程度的预处 理， 包括以下步骤： 11)对数据集中的数据清洗， 去除数据中的无关符号； 12)将清洗后的数据按照句子形式进行划分， 并在每条句子前后分别加上识别标识。 3.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤11)中， 数据清洗内容包括特殊标点符号、 空白字 符、 空格、 时间标识、 非 中文标点 符号以及将英文单词大写转 为小写。 4.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤12)中， 按照设定的数据长度， 将数据句子在长度范围内截断分割， 然后在每条句 子前后分别加上识别符号。 5.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤(2)中， 所述的注 意力机制是指分配给BERT模 型的网络层输出的每个上下文 特征 向量不同的权 重， 获取句子的全局语义信息 。 6.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤(3)中， 对预处 理后的数据集进行打 分处理， 包括以下步骤： 21)设输入的句子为S， 其含有t个字符， 且t在设定的数据长度内， 则将{[CLS]， P1, P2， ...， Pt， [SEP]}作为BERT模型的输入序列， 其中， [CLS]为开始识别标识， [SEP]为结束识 别标识， Pt为该句子中的单个字符； 22)获取句子S的表示序列W ＝[W1， W2， W3， ...， Wm]； 23)将序列W＝[W1， W2， W3， ...， Wm]作为BERT模型网络层的输入序列， 得到句子S在网络层 的输出序列K＝[K1， K2， K3， ...， Km]； 24)引入注意力机制， 获取句子的全局语义信息， 即获取句子关系预测的向量M； 25)将整个句子的向量M放入到softmax分类器中， 对实体关系类型进行预测， 获取打分 结果。 7.根据权利要求6所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤24)中， 关系预测的向量M＝KαT， 其中α ＝soft max(YTQ)， Q＝tan  m(M),Q为待学习 的参数矩阵。 8.根据权利要求6所述的一种基于注意力和有效程度的BERT模型打分方法， 其特征在 于， 在步骤2 5)中， 打分结果输 出公式为： G＝argmaxJ(g/S)， 其中， J(g/S)＝ softmax(QM+d)， d为偏差向量， Q 为参数矩阵。权　利　要　求　书 1/1 页 2 CN 114330556 A 2一种基于注意力和有效 程度的BERT模型打分方 法 技术领域 [0001]本发明涉及打分方法技术领域， 具体涉及一种基于注意力和有效程度的B ERT模型 打分方法。 背景技术 [0002]随着媒体形式的改变和发展， 互联网中涌现了海量的文本数据， 为了使人们能够 精确、 快速的获取自己想要的信息。 目前文本题要生成技术按照其生成形式可分类为： 抽取 式与生成式。 在抽取式摘要生成技术中通常对原文档中所有句 子或词组， 根据人类语言特 征进行打分， 选择分值高且冗余度较小的句子直接组成摘要， 该方法实现起来较为简单， 但 是生成的题要往往存在语法错误、 句 子连贯性差等问题。 而生成式方法相比而言所生成的 摘要更符合人类撰写的标准， 且句式整洁、 可读性强， 因而备受研究者关注。 [0003]随着预训练语言模型在自然语言处理多项任务中取得良好的效果， 研究者们尝试 将预训练模型引入到摘要生成任务中。 但是目前使用于训练知识的模型所生成的中文题要 质量并不理想， 而且不能有效全面的表达出原文档的主 要信息。 [0004]综上所述， 研发一种基于注意力和有效程度的BERT模型打分方法， 仍是打分方法 技术领域中急需解决的关键问题。 发明内容 [0005]针对现有技术所存在的上述缺点， 本发明在于提供一种基于注意力和有效程度的 BERT模型打分方法， 本发明针对待打分的数据集， 通过对数据 清洗， 能够 有效的去除数据中 的无关符号， 有效的提升了数据集中数据的有效程度， 采用具有很强特征抽取能力的BERT 模型进行打分处理， 并在BERT模 型中引入注 意力机制， 极大的提升了BERT模 型的性能， 可以 关注句子中不同类别的语义信息， 能够在提升注意力和有效程度的基础上， 有效的实现打 分的准确性以及速度， 具有广泛的应用前 景。 [0006]为实现本发明的目的， 本发明提供了如下技 术方案： [0007]一种基于注意力和有效程度的BERT模型打 分方法， 包括以下步骤： [0008](1)获取待打 分的数据集， 将数据集进行有效程度的预处 理； [0009](2)在BERT模型的网络层后， 引入注意力机制； [0010](3)采用引入注意力机制的BERT模型， 对预处 理后的数据集进行打 分处理。 [0011]本发明进一步设置为： 在步骤(1)中， 对数据集进行有效程度的预处理， 包括以下 步骤： [0012]11)对数据集中的数据清洗， 去除数据中的无关符号； [0013]12)将清洗后的数据按照句子形式进行划分， 并在每条句子前后分别加上识别标 识。 [0014]本发明进一步设置为： 在步骤11)中， 数据清洗内容包括特殊标点符号、 空白字符、 空格、 时间标识、 非中文标点符号以及将英文单词大写转 为小写。说　明　书 1/4 页 3 CN 114330556 A 3