(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211223107.3 (22)申请日 2022.10.08 (71)申请人 智道网联科技 （北京） 有限公司 地址 100029 北京市东城区北三环东路3 6 号1号楼B6 01 (72)发明人 张上鑫　 (74)专利代理 机构 北京市隆安 律师事务所 11323 专利代理师 权鲜枝　何健 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/44(2022.01) (54)发明名称 用于数字孪生的目标可视化方法、 装置及电 子设备 (57)摘要 本申请公开了一种用于数字孪生的目标可 视化方法、 装置及电子设备， 该方法包括： 获取目 标区域图像和目标区域点云； 利用预设特征提取 模型分别对目标区域图像和目标区域点云进行 特征提取， 得到目标区域图像和目标区域点云的 特征提取结果； 根据目标区域图像和目标区域点 云的特征提取结果， 确定目标区域图像与目标区 域点云的对应 关系， 结合目标区域图像的像素信 息确定目标区域点云的颜色信息； 利用目标区域 点云的颜色信息渲染目标立体模 型， 以在数字孪 生平台显示。 本申请通过点云数据为目标可视化 提供了轮廓信息， 通过点云数据与图像数据之间 的特征对应关系， 提供了颜色信息， 使得数字孪 生平台能够展示更加丰富、 更加真实的目标， 提 高了可视化效果。 权利要求书2页 说明书12页 附图4页 CN 115526990 A 2022.12.27 CN 115526990 A 1.一种用于数字 孪生的目标 可视化方法， 其中， 所述方法包括： 获取目标区域图像和目标区域 点云； 利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取， 得到目标区域图像的特 征提取结果和目标区域 点云的特 征提取结果； 根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果， 确定所 述目标区域图像与所述目标区域 点云的对应关系； 根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像 素信息， 确定所述目标区域 点云对应的目标颜色信息； 利用所述目标区域点云对应的目标颜色信 息渲染目标立体模型， 以通过数字孪生平台 进行显示。 2.如权利要求1所述方法， 其中， 所述获取目标区域图像和目标区域 点云包括： 获取相机采集的图像数据和激光雷达采集的点云数据； 对所述图像数据进行目标检测， 得到所述图像数据的目标检测结果， 以及对所述点云 数据进行目标检测， 得到所述 点云数据的目标检测结果； 根据所述图像数据的目标检测结果确定所述目标区域图像， 以及根据 所述点云数据的 目标检测结果确定所述目标区域 点云。 3.如权利要求1所述方法， 其中， 所述利用预设特征提取模型分别对所述目标区域图像 和所述目标区域点云进行特征提取， 得到目标区域图像的特征提取结果和目标区域点云的 特征提取结果包括： 确定图像坐标系与激光雷达坐标系的变换关系； 基于所述图像坐标系与激光雷达坐标系的变换关系， 将所述目标区域点云投影到图像 坐标系下， 得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点 云的对应关系； 利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图 像进行特征提取， 得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提 取结果。 4.如权利要求3所述方法， 其中， 所述目标区域点云的特征提取结果为目标区域点云的 投影图像的特征提取结果， 所述根据所述目标区域图像的特征提取结果和所述目标区域点 云的特征提取结果， 确定所述目标区域图像与所述目标区域 点云的对应关系包括： 利用预设匹配算法， 将所述目标区域图像的特征提取结果和所述目标区域点云的投影 图像的特 征提取结果进行匹配； 根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应 关系； 根据所述目标区域图像与 所述目标区域点云的投影图像的像素级对应关系， 以及所述 目标区域点云的投影图像与目标区域点云的对应关系， 确定所述目标区域图像与所述目标 区域点云的对应关系。 5.如权利要求1所述方法， 其中， 所述利用所述目标区域点云对应的目标颜色信 息渲染 目标立体模型包括： 根据所述目标区域 点云构建目标立体模型；权　利　要　求　书 1/2 页 2 CN 115526990 A 2利用所述目标区域点云对应的目标颜色信息， 对所述目标立体模型进行渲染， 得到渲 染后的目标立体模型。 6.如权利要求1所述方法， 其中， 所述利用所述目标区域点云对应的目标颜色信 息渲染 目标立体模型包括： 利用所述目标区域点云对应的目标颜色信息对所述目标立体模型的可渲染区域进行 渲染； 利用预设填充策略对所述目标立体模型的未渲染区域进行渲染。 7.如权利要求1～6之任一所述方法， 其中， 所述预设特征提取模型通过如下方式训练 得到： 获取包含目标的训练样本图像； 利用第一预设标注策略对所述训练样本图像进行标注， 得到标注后的第 一训练样本图 像， 以及利用第二预设标注策略对所述训练样本图像进行标注， 得到标注后的第二训练样 本图像； 利用所述标注后的第 一训练样本图像训练预设神经网络的第 一分支网络， 以及利用所 述标注后的第二训练样 本图像训练预设神经网络的第二分支网络， 得到训练后的预设神经 网络， 所述训练后的预设神经网络包括特 征提取网络； 将所述特 征提取网络作为所述预设特 征提取模型。 8.一种用于数字 孪生的目标 可视化装置， 其中， 所述装置包括： 获取单元， 用于获取目标区域图像和目标区域 点云； 特征提取单元， 用于利用预设特征提取模型分别对所述目标区域图像和所述目标区域 点云进行 特征提取， 得到目标区域图像的特 征提取结果和目标区域 点云的特 征提取结果； 第一确定单元， 用于根据所述目标区域图像的特征提取结果和所述目标区域点云的特 征提取结果， 确定所述目标区域图像与所述目标区域 点云的对应关系； 第二确定单元， 用于根据所述目标区域图像与 所述目标区域点云的对应关系以及所述 目标区域图像的像素信息， 确定所述目标区域 点云对应的目标颜色信息； 渲染单元， 用于利用所述目标区域点云对应的目标颜色信息渲染目标立体模型， 以通 过数字孪生平台进行显示。 9.一种电子设备， 包括： 处理器； 以及 被安排成存储计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器 执行所述权利要求1～7之任一所述方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储一个或多个程序， 所述一 个或多个程序当被包括多个应用程序的电子设备执行时， 使得所述电子设备执行所述权利 要求1～7之任一所述方法。权　利　要　求　书 2/2 页 3 CN 115526990 A 3