【Android-NCNN-Vulkan】ncnn-vulkan load param & model 速度慢

    技术2023-05-31  81

    模型作用:人脸检测,人脸关键点检测

    模型:fd.param fd.model,fl.param fl.model

    设备1:ARM A53 2.0GHz, IMG GE 8300

    OnePlus6T :Snapdragon 845, Adreno 630

     FD Param FD ModelFL Param

    FL Model

    size10kb509.6kb46kb2.5mb  FD Param FD ModelFL Param

    FL Model

    设备1(FD-CPU & FL-CPU) 1.6ms17.1ms 5.0ms10.0ms设备1(FD-GPU & FL-GPU) 32.7s56.1s32.6s83.4sOnePlus6T(FD-CPU & FL-CPU)3.8ms21.3ms6.5ms22.8msOnePlus6T(FD-GPU & FL-GPU)4.8s13.3s4.9s19.7s

    Load Param/Model 高耗时问题,主要有两个操作

    代码定位pipeline.cpp 469行: VkResult ret = vkCreateComputePipelines(vkdev->vkdevice(), 0, 1, &computePipelineCreateInfo, 0, &pipeline); 代码定位pipeline.cpp 98行: int ret = resolve_shader_info(spv_data, spv_data_size, si); 关于 vkCreateComputePipelines 的操作 目前该操作占据运算时间45%且在create pipeline过程中调用次数非常多,本身耗时在设备1上超过10ms如何优化该函数?关于 resolve_shader_info(在线编译)的操作 目前该操作占据运算时间45%优化方案一:采用shader的离线编译,OnePlus6T上显示能够提升5倍的速度;优化方案二:在离线基础上,计划通过删除没有用到的shader来加快pipeline的创建;优化方案三:加入pipecache机制,同比之前 load param 降低 8s,load model降低50-80s,pipeline cache效果很明显单独Load FL model (GPU)

     Load FD(GPU) & FL(GPU)

     Load FD(CPU) & FL(CPU) 

    Processed: 0.010, SQL: 9