(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111628299.1 (22)申请日 2021.12.28 (71)申请人 天翼电子商务有限公司 地址 102200 北京市昌平区未来科技城南 区中国电信集团公司院内 (72)发明人 李慧　方徐伟　徐小龙　张帅　 (51)Int.Cl. G06Q 40/02(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于可微分架构搜索自动构建贷款风 险模型的方法 (57)摘要 本发明公开了一种基于可微分架构搜索自 动构建贷款风险模型的方法。 本发 明根据可微分 架构搜索方法， 引入了特征权重因子和模型权重 因子， 实现了特征根据基模型自动进行组合以及 模型自动融合的功能， 将用户贷款风险模型中的 三个构建步骤整合为一个步骤， 实现了联合优 化， 这在一定程度上减少了人工智能专家在特征 工程以及模 型融合调参方面所花费的时间， 并能 进一步提高模 型的准确率， 进而提高企业在贷款 业务上的利 润率。 权利要求书2页 说明书5页 附图1页 CN 114529386 A 2022.05.24 CN 114529386 A 1.一种基于可微分架构搜索 自动构建贷款风险模型的方法， 其特征在于， 包括以下步 骤： 一、 具体的前向计算 流程如下所示： 第一， 引入特征权重因子， 构建基模型新特征； 对于用户贷款风险预测模型中， 假设有n 个特征(x1， x2， x3，…xn)， 为实现针对不同的基模型能相应的进行特征融合， n个特征分别乘 以相应的特征权重因子α； 例如在MLP的基模型中， 将对数据集中原有的n个特征， 乘以( α11， α21， α31，…αn1)得到新的n个特 征(x1α11， x2α21， x3α31，…xnαn1)； 第二， 构建基模型， 在每个基模型都得到对应的新特征以后， 将会根据新特征构建基模 型； 第三， 引入模型权重因子， 进行模型融合； 在得到基模型后， 将对基模型的输出进行融 合， 假设得到了三个基模型的输出(Output1， Output2和Output3)， 三个基模型的模型权重因 子分别为αM和αL， αG根据可微分架构搜索算法， 将对三个权重因子采用softmax函数， 限制权 重之和为1， 最后得到的输出如等式1所示： 在以往的模型构建过程中， 特征权重因子以及模型权重因子均 是人工智能专家根据模 型在验证集上的性能逐步进行调整的； 因此特征权重因子和模型权重因子主要与模型在验 证集上的性能有关； 但考虑到验证集的数据是不能参与到模型的训练过程， 因此本专利根 据基于可微分的架构搜索算法提出将原本的训练集样本按照1∶1的比例进行划分， 其中一 半(train)用于更新三个基模型的权重， 另一半(train ′)用于更新特征权重因子和 模型权 重因子； 根据可微分的架构搜索算法， 一次迭代的参数优化过程(反向计算)可如下步骤所 示： 第一， 基模型权重(w)的优化； 首先保持特征权重因子和模型权重因子不变， 采用事先 划分好的一半(train)训练样 本训练三个基模 型， 计算出此时的loss， 然后根据此时的loss 更新基模型的权 重； 第二， 特征权重因子和模型权重因子的优化， 在基模型权重(w)更新完成后， 保持基模 型的权重不变， 将另一半训练样本(train ′)放入模型中进 行计算， 得到此时的loss， 依据此 时的loss更新特征权重因子和模型权重因子； 具体更新计算与可微分架构搜索保持一致， 如下所示： 考虑到原本的特征权重因子和模型权重因子主要依据验证集上的性能进行调整， 那么 在调整特 征权重因子和模型权 重因子时， 需要假设此时的基模型权 重(w)已达 到了最优； 因此在调整特 征权重因子和模型权 重因子时， 主 要满足以下关系式： minaltrain′(w*( α )， α )； s.t.w*( α )＝argmi nwltrain(w( α )， α )； 由于精准的评估架构梯度计算 量较大， 因此主 要采用以下近似公式来计算梯度： 根据链式求 导法则：权　利　要　求　书 1/2 页 2 CN 114529386 A 2其中， 在基模型权重(w)优化根据反向传播算法更新基 模型的权 重w后， 即得到 了w′； 由于二阶求 导的梯度较为复杂， 因此根据导数的定义公式近似计算 来进行替换， 其中， 其中 上述两个步骤完成后， 模型的迭代完成一次， 若设迭代次数为100， 则将上述两个步骤 迭代进行10 0次， 得到最终的基模型权 重、 特征权重因子以及模型权 重因子。权　利　要　求　书 2/2 页 3 CN 114529386 A 3