数据清洗-札记

    技术2022-07-10  127

    1、误标注样本处理

    (1)误标注样本要不要校正,看误差分析时占比;

    (2)如果确定改进标签质量,确保开发集、测试集使用相同的改进方法,以保证开发集、测试集服从相同分布;

    (3)如果确定改进标签质量,要不要检查所有样本数据?

    a、如果仅改进被误判的样本,可能会导致开发集衍生出一定的偏差,该偏差对实际开发应用可以忍受;

    b、如果引用算法结果发表论文,则需要无偏差的度量,此时需要检查改进样本中所有数据

    Processed: 0.011, SQL: 9