数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一化方法:
一、min-max标准化(Min-Max Normalization)
也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 – 1]之间。转换函数如下:
二、Z-score标准化方法
这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:
其中µ为所有样本数据的均值,分母为所有样本数据的标准差。
三、标准化方法标准分数
绝对标准差:asd=(1/card(x)) * ∑|Xi-µ|
标准分数:mss=((每个值)-(中位数))/asd
归一化的情况:
1.所用数据挖掘方法基于特征的值来计算两个对象的距离
2.不同特征的尺度不同(比如房屋的卧室个数和价格 差别就特别大)。