(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111636972.6 (22)申请日 2021.12.2 9 (71)申请人 航天信息股份有限公司 地址 100195 北京市海淀区杏石口路甲18 号 申请人 河北航天信息技 术有限公司 (72)发明人 王亚平　林文辉　王志刚　马兰　 李瑞祥　伺彦伟　祁洪波　 (74)专利代理 机构 北京工信联合知识产权代理 有限公司 1 1266 专利代理师 刘海蓉 (51)Int.Cl. G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种建立短文本多层级分类模型的方法和 系统 (57)摘要 本发明实施例公开了一种建立短文本多层 级分类模型的方法和系统， 所述方法包括： 对同 一份短文本数据集， 按照设置的不同层级的短文 本类别标签进行标注后生成的不同层级的标注 数据集， 并将其作为输入， 对基于公开的预训练 模型Bert  base后接全连接层建立的分类模型分 层级进行训练， 生成不同层级的分类模型， 并在 训练下一层级分类模型时， 将上一层级经过微调 的预训练模型Bert  base的部分训练参数迁移 到 下一层级初始预训练模型Bert  base的对应部 分， 最后将生成的多层级的分类模 型进行组合生 成最终的分类模 型。 所述方法和系统可有效扩增 每种类别下的数据总量， 解决模 型训练的数据稀 疏度问题； 并对低层级的分类学习， 通过迁移高 层级分类模型的通用参数提升训练效果。 权利要求书3页 说明书10页 附图3页 CN 114579737 A 2022.06.03 CN 114579737 A 1.一种建立短文本多层级分类模型的方法， 其特 征在于， 所述方法包括： 步骤101、 获取第一层级标注数据集， 其中， 所述第一层级标注数据集是按照预先设置 的第一层级类别标签对短文本数据集中的每 个短文本进行 标注后生成的数据集； 步骤102、 将第一层级标注数据集输入初始第一层级分类模型进行模型训练， 生成最优 第一层级分类模 型， 其中， 所述初始第一层 级分类模 型是公开的预训练模 型Bert base后接 初始第一层级全连接层， 所述最优第一层级分类模型是最优第一层级预训练模型Bert   base后接最优第一层级全连接层， 所述最优第一层级预训练模型Bert  base是对公开的预 训练模型Bert  base进行微调得到的预训练模 型Bert base， 所述最优第一层 级全连接层是 对初始第一层级全连接层调整参数后得到的全连接层； 步骤103、 获取第二层级标注数据集， 其中， 所述第二层级标注数据集是是按照预先设 置的第二层级类别标签对短文本数据集中的每 个短文本进行 标注后生成的数据集； 步骤104、 将第二层级标注数据集输入初始第二层级分类模型进行模型训练， 生成最优 第二层级分类模型， 其中， 所述初始第二层级分类模型是初始第二层级预训练模型Bert   base后接初始第二层级全连接层， 所述初始第二层级预训练模型Bert  base是将最优第一 层级预训练模型Bert  base的前N层的训练参数迁移到公开的预训练模型Bert  base的前N 层后得到的预训练模型Bert  base， 最优第二层级分类模型是最优第二预训练模型Bert   base后接最优第二全连接层， 所述最优第二层级预训练模型Bert  base是对初始第二层级 预训练模型Bert  base进行微调得到的预训练模型Bert  base， 所述最优第二层 级全连接层 是对初始第二层级全连接层调整参数后得到的全连接层， N 为自然数； 步骤105、 获取第i层级标注数据集， 其中， 所述第i层级标注数据集是按照预先设置的 第i层级类别标签对短文本数据集中的每个 短文本进 行标注后生 成的数据集， 其中， 3≤i≤ I， i的初始值 为3， I为自然数； 步骤106、 将第i层级标注数据集输入初始第i层级分类模型进行模型训练， 生成最优第 i层级分类模型， 其中， 所述初始第i层级分类模型是初始第i层级预训练模型Bert  base后 接初始第i层 级全连接层， 所述初始第i层 级预训练模 型Bert base是将最优第i ‑1层级预训 练模型Bert base的前N层的训练参数迁移到初始第i层级预训练模型Bert  base的前N层后 得到的预训练模 型Bert base， 最优第i层级分类模型是最优第i层级预训练模型Bert  base 后接最优第i层 级全连接层， 所述最优第i层 级预训练模 型Bert base是对初始第i层 级预训 练模型Bert  base进行微调得到的预训练模型Bert  base， 所述最优第i层级层级全连接层 是对初始第i层级全连接层调整参数后得到的全连接层； 步骤107、 令i ＝i+1， 当i≤I时， 返回步骤10 5， 当i>I时， 转至步骤108； 步骤108、 将最优第一层级分类模型至最优第I层级分类模型按照从第一层级至第I层 级的顺序组合 生成的模型作为短文本多层级分类模型。 2.根据权利要求1所述的方法， 其特 征在于， 在获取第一层级标注数据集之前还 包括： 设置J个层级的短文本类别标签， 分别生成第一层级类别标签至第J级类别标签， 其中， 第j层级类别标签的分类层级高于第j+1层级类别标签， 1≤j≤J， 且J等于I； 采集多个短文本生成短文本数据集； 按照设置的第一层级类别标签至第J层级类别标签， 分别对短文本数据集中的每个短 文本进行 标注， 对应生成第一层级标注数据集至第J层级标注数据集。权　利　要　求　书 1/3 页 2 CN 114579737 A 23.根据权利要求1所述的方法， 其特征在于， 所述方法采用的公开的预训练模型Bert   base的网络层数L ＝12， 隐含层节点数H＝768， self ‑attention head数量A＝12。 4.根据权利要求3所述的方法， 其特征在于， 所述初始第二层级预训练模型Bert  base 是将最优第一层级预训练模型Bert  base的前N层的训练参数迁移到公开的预训练模型 Bert base的前N层后得到的预训练模型Ber t base， 其中， N 值为6。 5.一种建立短文本多层级分类模型的系统， 其特 征在于， 所述系统包括： 第一数据模块， 用于获取第 一层级标注数据集， 其中， 所述第一层级标注数据集是按照 预先设置的第一层级类别标签对短文本数据集中的每 个短文本进行 标注后生成的数据集； 第一模型模块， 用于将第一层级标注数据集输入初始第一层级分类模型进行模型训 练， 生成最优第一层级分类模型， 其中， 所述初始第一层级分类模型是公开的预训练模型 Bert base后接初始第一层级全连接层， 所述最优第一层级分类模型是最优第一层级预训 练模型Bert  base后接最优第一层 级全连接层， 所述最优第一层级预训练模 型Bert base是 对公开的预训练模 型Bert base进行微调得到的预训练模 型Bert base， 所述最优第一层级 全连接层是对初始第一层级全连接层调整参数后得到的全连接层； 第二数据模块， 用于获取第 二层级标注数据集， 其中， 所述第二层级标注数据集是是按 照预先设置的第二层级类别标签对短文本数据集中的每个短文本进行标注后生成的数据 集； 第二模型模块， 用于将第二层级标注数据集输入初始第二层级分类模型进行模型训 练， 生成最优第二层级分类模型， 其中， 所述初始第二层级分类模型是初始第二层级 预训练 模型Bert base后接初始第二层级全 连接层， 所述初始第二层级预训练模 型Bert base是将 最优第一层级预训练模型Bert  base的前N层的训练参数迁移到公开的预训练模型Bert   base的前N层后得到的预训练模型Bert  base， 最优第二层 级分类模型是最优第二预训练模 型Bert base后接最优第二全 连接层， 所述最优第二层 级预训练模型Bert  base是对初始第 二层级预训练模 型Bert base进行微调得到的预训练模 型Bert base， 所述最优第二层级全 连接层是对初始第二层级全连接层调整参数后得到的全连接层， N 为自然数； 第三数据模块， 用于获取第i层级标注数据集， 其中， 所述第i层级标注数据集是按照预 先设置的第i层级类别标签对短文本数据集中的每个短文本进行标注后生成的数据集， 其 中， 3≤i≤I， i的初始值 为3， I为自然数； 第三模型模块， 用于将第i层级标注数据集输入初始第i层级分类模型进行模型训练， 生成最优第i层级分类模型， 其中， 所述初始第i层级分类模型是初始第i层级预训练模型 Bert base后接初始第i层级全连接层， 所述初始第i层级预训练模型Bert  base是将最优第 i‑1层级预训练模型Bert  base的前N层的训练参数迁移到初始第i层级预训练模型Bert   base的前N层后得到的预训练模 型Bert base， 最优第i层级分类模型是最优第i层级预训练 模型Bert base后接最优第i层级全 连接层， 所述最优第i层级预训练模型Bert  base是对初 始第i层级预训练模 型Bert base进行微调得到的预训练模型Bert  bas