(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111627057.0 (22)申请日 2021.12.28 (71)申请人 辽宁工程技术大学 地址 123000 辽宁省阜新市细河区中华路 47号 (72)发明人 沈学利　韩倩雯　 (74)专利代理 机构 北京华夏正 合知识产权代理 事务所(普通 合伙) 11017 代理人 韩登营 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种改进嵌入层的广告点击率预测模型训 练方法 (57)摘要 本发明提供了一种改进嵌入层的广告点击 率预测模型训练方法， 包括获取预处理后的数据 集； 通过改进的嵌入层有效的将高维稀疏的数据 映射为低维特征数据； 通过逻辑回归对低阶显性 特征进行处理， 丰富对低阶显性特征表达的缺 失， 将低维特征数据输入到特征提取网络， 提取 二阶特征 组合信息； 将低阶部分训练结果与高阶 训练结果通过函数归一化得到最终预测值。 本发 明的改进嵌入层的广告点击率预测模型训练方 法解决了广告点击率预测模型对特征关注不足 且训练速度慢的问题， 在算法的准确率及效率方 面提升推荐效果。 权利要求书1页 说明书5页 附图1页 CN 114282669 A 2022.04.05 CN 114282669 A 1.一种改进嵌入层的广告点击率预测模型训练方法， 其特 征在于， 包括如下步骤： S1： 获取预处理后的数据集， 其中， 每个样本数据包含离散化特征和连续特征， 对于特 征处理部分只考虑分类特征的情况， 通过对连续性特征进 行离散化分类来进 行数据预 处理 信息； S2： 通过改进的嵌入层有效的将高维稀疏的数据映射为低维特征数据， 其中， 改进的嵌 入层是普通嵌入层与自注意力模块相结合， 更好的学习特征内部联系并赋予权重过滤无用 信息； S3： 一方面通过逻辑回归对低阶显性特征进行处理， 丰富对低阶显性特征表达的缺失， 另一方面将低维特 征数据输入到特 征提取网络， 提取二阶特 征组合信息； S4： 将低阶部分训练结果与高阶训练结果 通过函数归一 化得到最终预测值。 2.根据权利要求1所述的改进嵌入层的广告点击率预测模型训练方法， 其特征在于， 自 注意力机制的计算是在特征提取前相对于自身之间的内部联系进 行训练， 突出有效信息并 加快训练速度， 将特征向量输出的通过与权重矩阵相乘得到对应的张量， 即查询张量Q、 键 张量K和值张量V， 通过公式计算得 出对应的赋予权 重之后的矩阵， 公式如下： 3.根据权利要求2所述的改进嵌入层的广告点击率预测模型训练方法， 其特征在于， 通 过分别对相应特征进行复制和内积操作， 用o(p,i,j)表 示第i个特征的复制操作， 用表 示第 i个特征和第j个特 征的内积 操作； 输出嵌入特 征ef和交互特征if， 假设有个m特 征可以构造如下： γ是从操作到索引的映射， if可以按如下 方式构建： if＝[p1， 2， p1， 3， ...， pm‑1， m] 其中pi， j是第i个特 征和第j个特 征之间的内积运 算的值： 连接嵌入特 征ef和交互特征if构成了该层的输出： f＝[ef， if] 多层感知机用于提取高阶特 征和预测， 首 先对f进行批量归一 化， 其结果表示 为： fdnn＝BN(f) 其中贝叶斯是指批处理规范化， 用来加速训练提高预测精确度， 对于MLP的每一层添加 批处理规范化， 并使用校正后的线性单位relu， 最后使用sigmoid函数完成概率预测的任 务。权　利　要　求　书 1/1 页 2 CN 114282669 A 2一种改进嵌入层的广告 点击率预测模型训练方 法 技术领域 [0001]本发明涉及计算机工程的技术领域， 尤其涉及一种改进嵌入层的广告点击率预测 模型训练方法。 背景技术 [0002]随着互联 网+的迅速 发展， 诸如互联 网广告等悄然兴起， 为了更精准地预测 广告的 投放， 点击率(Click  Through Rate， 简称CTR)作为预测广告投放的重要标准之一， 它在广 告系统等领域发挥着至关重要的作用。 [0003]传统的CTR预估模型， 都是针对特征的一阶显性信息和二阶特征交互信息进行研 究， 高阶特征 交互都是通过人类专家手动标记工作量大且耗时； 随着深度学习的快速发展， 多层神经网络通过embedding+MLP的形式应用在深度学习CTR模 型中， 深入的挖掘更高阶的 特征交互信息， 但是对低阶特征交互关注不足。 为兼顾两者对特征交互的优点， 提出了DNN 和低阶特征组合的经典点击率预估模型； 此外， 注意力机制能够通过对特征加权， 有效的过 滤无用信息加快收敛速度， 在现有经典模型中取得了很好的效果， 证明注意力机制与深度 学习CTR模型相结合很有前 景。 [0004]现有技术中的广告点击率预测方法不能很好的利用稀疏样本数据， 因而相关技术 中的广告点击率预测方法通常存在预测结果 不准确的技 术问题。 发明内容 [0005]针对上述技术问题， 本发明的目的在于提供一种改进嵌入层的广告点击率预测模 型训练方法， 解决了广告点击率预测模型对特征关注不足且训练速度慢的问题， 在算法的 准确率及效率方面 提升推荐效果。 [0006]为实现上述目的， 本发明提供了一种改进嵌入层的广告点击率预测模型训练方 法， 包括如下步骤： [0007]S1： 获取预处理后的数据集， 其中， 每个样本数据包含离散化特征和连续特征， 对 于特征处理部分只考虑分类特征的情况， 通过对连续性特征进行离散化分类来进 行数据预 处理信息； [0008]S2： 通过改进的嵌入层有效的将高维稀疏的数据映射为低维特征数据， 其中， 改进 的嵌入层是普通嵌入层与自注意力模块相结合， 更好的学习特征内部联系并赋予权重过滤 无用信息； [0009]S3： 一方面通过逻辑回归对低阶显性特征进行处理， 丰富对低阶显性特征表达 的 缺失， 另一方面将低维特 征数据输入到特 征提取网络， 提取二阶特 征组合信息； [0010]S4： 将低阶部分训练结果与高阶训练结果 通过函数归一 化得到最终预测值。 [0011]可选的， 自注意力机制的计算是在特征提取前相对于自身之间的内部联系进行训 练， 突出有效信息并加快训练速度， 将特征向量输出 的通过与权重矩阵相乘得到对应的张 量， 即查询张量(Q)、 键张量(K)和值张量(V)， 通过公式计算得出对应的赋予权重之后的矩说　明　书 1/5 页 3 CN 114282669 A 3