发布网友
共1个回答
热心网友
数据使用前要清洗,去除无效数据。
如果这些数据都是有效数据,只是你不想显示那些过份异常的数据,那么,就进行去噪处理。
去噪分两步:检测噪点,噪点修正。
对于整体连续,总体范围大的数据集,最简单的检测噪点的办法就是邻值法,对于第n取相邻的k个值:p[n-k,],p[n-k+1]...p[n-1]
对它们加权平均,得到标准点,上下浮动一定范围,如果p[k]不在这个范围内就是异常点
对应的噪点修正可以使用类似的过程,局部噪点回归法。
这些一般来说都不是很实现的东西,对于数据集结构的不同,没有必要做成通用的包,所以你只有自己实现。