(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641101.3 (22)申请日 2021.12.2 9 (71)申请人 上海花事电子商务有限公司 地址 201703 上海市青浦区沪青平公路 3841弄5号67宗地2 9幢二层I区285室 (72)发明人 董佩昂　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 专利代理师 郭磊 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/00(2022.01) G06K 9/62(2022.01) G06V 40/16(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于视频数据的用户人格识别方法 (57)摘要 本发明公开了一种基于视频数据的用户人 格识别方法， 包括步骤S001， 收集用户在线社交 网络的文本数据记忆用户在线行为， 步骤S002， 对于文字 数据要先进行文字的预处理， 去除特定 的无用符号、 数据中非文本部分以及无效的文 字， 提炼出有效文字和可 以表达情感的表情， 对 于文字部分进行中文分词， 将一段文字分开成符 合语义的单一词语， 达到电脑自动识别语句含义 的效果， 对于表情类的部分， 先做标记与关联的 内容， 下一步将对其详细处理等。 本发明针对特 征分析和识别结果， 系统可生成专业分析报告， 根据识别出的人格， 进行内容个性 化推荐。 权利要求书1页 说明书6页 附图1页 CN 114463671 A 2022.05.10 CN 114463671 A 1.一种基于视频数据的用户人格识别方法， 其特征在于， 包括以下步骤， 步骤S001， 根 据人格测试知识， 设计并用户行为视频采集方案， 根据方案视频数据采集， 并进 行五大人格 测试得到分数； 步骤S002， 对视频在时间流上， 数据主要分为图片和语音两个信息载体， 分别进行数据 处理， 并对图片和语音 进行特征提取， 创建回归或分类模型； 步骤S003， 划分多个测试集、 验证集进行模型训练， 并在测试集中判断模型的鲁棒 性； 步骤S004， 选择鲁棒性最好的模型， 对用户进行识别人格， 并且生成专业报告， 让用户 充分的了解自己的人格， 以及产生的行为信息 。 2.根据权利要求1所述的一种基于视频数据的用户人格识别方法， 其特征在于， 步骤 S002中具体对语音进 行数据处理时， 首先对语音进 行情景对齐， 然后生成时域和频域特征， 即起音时间、 过零 率等时域特 征， 同时对语音 进行MFCC特征提取。 3.根据权利要求1所述的一种基于视频数据的用户人格识别方法， 其特征在于， 步骤 S002中的具体对视频图像处理时， 首先对视频进行每秒提取25张图片， 然后对每张进行数 据处理， 并读入图片到矩阵当中。 4.根据权利要求3所述的一种基于视频数据的用户人格识别方法， 其特征在于， 在步骤 S002中， 对每张进行 数据处理包括无效图片筛 选、 图片模糊需增强等基础计算。 5.根据权利要求4所述的一种基于视频数据的用户人格识别方法， 其特征在于， 步骤 S002中， 针对语音和图像分别创建卷积神经网络模 型， 并根据开源训练好的SOTA模 型权重， 使用迁移学习、 蒸馏方法， 构建语音和图像针两个特定模型， 然后对语音提取的MFCC特征和 每张图片进行训练， 提取深度特 征。 6.根据权利要求5所述的一种基于视频数据的用户人格识别方法， 其特征在于， 步骤 S002中的模型构建具体为利用语音和图像提取的深度特征， 再后利用循环神经网络， 对语 音和图像在前后的时间线 上， 进行特征提取并进 行计算， 取得时间上的关联性， 以及周围的 变化， 最后结合 不同年龄、 地区等分布进行模型构建。 7.根据权利要求1 ‑3或5任一项所述的一种基于视频数据的用户人格识别方法， 其特征 在于， 步骤S 003中， 利用测试集、 验证集进 行模型训练， 进而训练 回归模型， 利用均方误差进 行评分， 得到交叉验证交叉验证后的平均结果， 判断模型拟合能力， 然后利用测试集去判断 模型的鲁棒 性， 最终选出鲁棒 性最好的结果模型为 最终模型。 8.根据权利要求1 ‑3或5任一项所述的一种基于视频数据的用户人格识别方法， 其特征 在于， 步骤S 004中的人格分析报告生 成步骤具体为， 针对模型特征和结果， 人格心理学家会 进行专业分析， 生成相关规则， 利用此规则， 人格识别系统会自动化 生成人格分析报告。权　利　要　求　书 1/1 页 2 CN 114463671 A 2一种基于视频数据的用户人格识别方 法 技术领域 [0001]本发明涉及 适用于人格识别技术领域， 具体涉及基于视频数据的用户人格识别方 法。 背景技术 [0002]据研究显示， 中国仅10％左右的人能达到心理健康的状态， 70％以上的人早已处 于心理亚健康而不自知。 据调查， 随着心理学知识的不断普及， 95％的人愿意接收心理学治 疗以及学习心理学知识了解自己。 [0003]人格心理学便是在心理学中有举足轻重 的地位， 但在人格心理学领域中， 人格测 试、 儿童气质测试等都需要大量的题目让人去回答， 然后进行统计分析， 得出结论， 需要耗 费大量的时间， 而且不同类型测试存在一定的误差， 所以如何快速判断用户人格是行业内 新出现且亟 待解决的问题。 发明内容 [0004]针对相关技术中的问题， 本发明提出一种基于视频数据的用户人格识别方法， 以 克服现有相关技 术所存在的上述 技术问题。 [0005]为此， 本发明采用的具体技 术方案如下： [0006]一种基于视频数据的用户人格识别方法， 包括以下步骤， 步骤S00 1， 根据人格测试 知识， 设计并用户行为视频采集方案， 根据方案视频数据采集， 并进 行五大人格测试得到分 数； [0007]步骤S002， 对视频在时间流上， 数据主要 分为图片和语音两个信息载体， 分别进行 数据处理， 并对图片和语音 进行特征提取， 创建回归或分类模型； [0008]步骤S003， 划分多个测试集、 验证集进行模型训练， 并在测试集中判断模型的鲁棒 性； [0009]步骤S004， 选择鲁棒性最好 的模型， 对用户进行识别人格， 并且生成专业报告， 让 用户充分的了解自己的人格， 以及产生的行为信息 。 [0010]优选的， 步骤S002中具体对语音进行数据处理时， 首先对语音进行情景对齐， 然后 生成时域和频域特 征， 即起音时间、 过零 率等时域特 征， 同时对语音 进行MFCC特征提取。 [0011]优选的， 步骤S002中的具体对视频图像处理时， 首先对视频进行每秒提取25张图 片， 然后对每张进行 数据处理， 并读入图片到矩阵当中。 [0012]优选的， 在步骤S002中， 对每张进行数据处理包括无效图片筛选、 图片模糊需增强 等基础计算。 [0013]优选的， 步骤S002中， 针对语音和图像分别创建卷积神经 网络模型， 并根据开源训 练好的SOTA模型权重， 使用迁移学习、 蒸馏方法， 构建语音和图像针两个特定模型， 然后对 语音提取的MFC C特征和每张图片进行训练， 提取深度特 征。 [0014]优选的， 步骤S002中的模型构建具体为利用语音和图像提取的深度特征， 再后利说　明　书 1/6 页 3 CN 114463671 A 3