如何进行数据的归一化处理

问题描述

精选答案

第一个问题，测试集的归一化的均值和标准偏差应该来源于训练集。如果你熟悉Python的sklearn的话，你就应该知道应该先对训练集数据fit，得到包含均值和标准偏差的scaler，然后再分别对训练集和验证集transform。这个问题其实很好，很多人不注意，最容易犯的错误就是先归一化，再划分训练测试集。

第二个问题，是均值方差归一化，最大最小归一化等不同归一化的选择问题。归一化的目的无非调整各个字段之间的数量级差异。均值方差归一化可能更适合你不知道数据的边界在哪里，最大最小归一化相当于整合到01之间，这相当于你是知道这个字段的边界在哪里。所以我个人更倾向于均值方差归一化。这个问题我只是经验之谈，不一定对。