本文摘要：为什么数据处置惩罚很重要？熟悉数据挖掘和机械学习的小同伴们都知道，数据处置惩罚相关的事情时间占据了整个项目的70%以上。数据的质量，直接决议了模型的预测和泛化能力的优劣。 它涉及许多因素，包罗：准确性、完整性、一致性、时效性、可信性息争释性。而在真实数据中，我们拿到的数据可能包罗了大量的缺失值，可能包罗大量的噪音，也可能因为人工录入错误导致有异常点存在，很是倒霉于算法模型的训练。

为什么数据处置惩罚很重要？熟悉数据挖掘和机械学习的小同伴们都知道，数据处置惩罚相关的事情时间占据了整个项目的70%以上。数据的质量，直接决议了模型的预测和泛化能力的优劣。

它涉及许多因素，包罗：准确性、完整性、一致性、时效性、可信性息争释性。而在真实数据中，我们拿到的数据可能包罗了大量的缺失值，可能包罗大量的噪音，也可能因为人工录入错误导致有异常点存在，很是倒霉于算法模型的训练。数据清洗的效果是对种种脏数据举行对应方式的处置惩罚，获得尺度的、洁净的、一连的数据，提供应数据统计、数据挖掘等使用。

有哪些数据预处置惩罚的方法？数据预处置惩罚的主要步骤分为：数据清理、数据集成、数据规约和数据变换。本文将从这四个方面详细的先容详细的方法。

如果在一个项目中，你在这几个方面的数据处置惩罚做的都很不错，对于之后的建模具有极大的资助，而且能快速到达一个还不错的效果。数据清理数据清理(data cleaning) 的主要思想是通过填补缺失值、平滑噪声数据，平滑或删除离群点，并解决数据的纷歧致性来“清理“数据。如果用户认为数据时脏乱的，他们不太会相信基于这些数据的挖掘效果，即输出的效果是不行靠的。

1、缺失值的处置惩罚由于现实世界中，获取信息和数据的历程中，会存在各种的原因导致数据丢失和空缺。针对这些缺失值的处置惩罚方法，主要是基于变量的漫衍特性和变量的重要性（信息量和预测能力）接纳差别的方法。主要分为以下几种：删除变量：若变量的缺失率较高（大于80%），笼罩率较低，且重要性较低，可以直接将变量删除。

定值填充：工程中常见用-9999举行替代统计量填充：若缺失率较低（小于95%）且重要性较低，则凭据数据漫衍的情况举行填充。对于数据切合匀称漫衍，用该变量的均值填补缺失，对于数据存在倾斜漫衍的情况，接纳中位数举行填补。插值法填充：包罗随机插值，多重差补法，热平台插补，拉格朗日插值，牛顿插值等模型填充：使用回归、贝叶斯、随机森林、决议树等模型对缺失数据举行预测。

哑变量填充：若变量是离散型，且差别值较少，可转换成哑变量，例如性别SEX变量，存在male,fameal,NA三个差别的值，可将该列转换成：IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某个变量存在十几个差别的值，可凭据每个值的频数，将频数较小的值归为一类'other'，降低维度。

此做法可最大化保留变量的信息。总结来看，楼主常用的做法是：先用pandas.isnull.sum()检测出变量的缺失比例，思量删除或者填充，若需要填充的变量是一连型，一般接纳均值法和随机差值举行填充，若变量是离散型，通常接纳中位数或哑变量举行填充。

注意：若对变量举行分箱离散化，一般会将缺失值单独作为一个箱子（离散变量的一个值）2、离群点处置惩罚异常值是数据漫衍的常态，处于特定漫衍区域或规模之外的数据通常被界说为异常或噪声。异常分为两种：“伪异常”，由于特定的业务运营行动发生，是正常反映业务的状态，而不是数据自己的异常；“真异常”，不是由于特定的业务运营行动发生，而是数据自己漫衍异常，即离群点。主要有以下检测离群点的方法：简朴统计分析：凭据箱线图、各分位点判断是否存在异常，例如pandas的describe函数可以快速发现异常值。3原则：若数据存在正态漫衍，偏离均值的3之外。

通常界说： 规模内的点为离群点。基于绝对离差中位数（MAD）：这是一种稳健反抗离群数据的距离值方法，接纳盘算各观察值与平均值的距离总和的方法。放大了离群值的影响。

基于距离：通过界说工具之间的邻近性怀抱，凭据距离判断异常工具是否远离其他工具，缺点是盘算庞大度较高，不适用于大数据集和存在差别密度区域的数据集基于密度：离群点的局部密度显著低于大部门近邻点，适用于非匀称的数据集基于聚类：使用聚类算法，抛弃远离其他簇的小簇。总结来看，在数据处置惩罚阶段将离群点作为影响数据质量的异常点思量，而不是作为通常所说的异常检测目的点，因而楼主一般接纳较为简朴直观的方法，联合箱线图和MAD的统计方法判断变量的离群点。详细的处置惩罚手段：凭据异常点的数量和影响，思量是否将该条记载删除，信息损失多若对数据做了log-scale 对数变换后消除了异常值，则此方法生效，且不损失信息平均值或中位数替代异常点，简朴高效，信息的损失较少在训练树模型时，树模型对离群点的鲁棒性较高，无信息损失，不影响模型训练效果3、噪声处置惩罚噪声是变量的随机误差和方差，是观察点和真实点之间的误差，即 ： 通常的处置惩罚措施：对数据举行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者界限值（差别数据漫衍，处置惩罚方法差别）取代箱中所有的数，起到平滑数据的作用。

另外一种做法是，建设该变量和预测变量的回归模型，凭据回归系数和预测变量，反解出自变量的近似值。数据集成数据分析任务多数涉及数据集成。

数据集成将多个数据源中的数据联合成、存放在一个一致的数据存储，如数据堆栈中。这些源可能包罗多个数据库、数据方或一般文件。

1、实体识别问题：例如，数据分析者或盘算机如何才气确信一个数 据库中的 customer_id 和另一个数据库中的 cust_number 指的是同一实体?通常，数据库和数据堆栈 有元数据——关于数据的数据。这种元数据可以资助制止模式集成中的错误。2、冗余问题。

一个属性是冗余的，如果它能由另一个表“导出”;如年薪。属性或 维命名的纷歧致也可能导致数据集中的冗余。用相关性检测冗余：数值型变量可盘算相关系数矩阵，标称型变量可盘算卡方磨练。

3、数据值的冲突和处置惩罚：差别数据源，在统一合并时，保持规范化，去重。数据规约数据归约技术可以用来获得数据集的归约表现，它小得多，但仍靠近地保持原数据的完整性。这样，在归约后的数据集上挖掘将更有效，并发生相同(或险些相同)的分析效果。一般有如下计谋：1、维度规约用于数据分析的数据可能包罗数以百计的属性，其中大部门属性与挖掘任务不相关，是冗余的。

维度归约通过删除不相关的属性，来淘汰数据量，并保证信息的损失最小。属性子集选择：目的是找出最小属性集，使得数据类的概率漫衍尽可能地靠近使用所有属性的原漫衍。在压缩 的属性集上挖掘另有其它的优点。

它淘汰了泛起在发现模式上的属性的数目，使得模式更易于明白。逐步向前选择：该历程由空属性集开始，选择原属性集中最好的属性，并将它添加到该荟萃中。

在其后的每一次迭代，将原属性集剩下的属性中的最好的属性添加到该荟萃中。逐步向后删除：该历程由整个属性集开始。在每一步，删除掉尚在属性集中的最坏属性。向前选择和向后删除的联合：向前选择和向后删除方法可以联合在一起，每一步选择一个最 好的属性，并在剩余属性中删除一个最坏的属性。

python scikit-learn 中的递归特征消除算法Recursive feature elimination (RFE)，就是使用这样的思想举行特征子集筛选的，一般思量建设SVM或回归模型。单变量重要性：分析单变量和目的变量的相关性，删除预测能力较低的变量。这种方法差别于属性子集选择，通常从统计学和信息的角度去分析。

pearson相关系数和卡方磨练，分析目的变量和单变量的相关性。回归系数：训练线性回归或逻辑回归，提取每个变量的表决系数，举行重要性排序。树模型的Gini指数：训练决议树模型，提取每个变量的重要度，即Gini指数举行排序。Lasso正则化：训练回归模型时，加入L1正则化参数，将特征向量稀疏化。

IV指标：风控模型中，通常求解每个变量的IV值，来界说变量的重要度，一般将阀值设定在0.02以上。以上提到的方法，没有解说详细的理论知识和实现方法，需要同学们自己去熟悉掌握。

楼主通常的做法是凭据业务需求来定，如果基于业务的用户或商品特征，需要较多的解释性，思量接纳统计上的一些方法，如变量的漫衍曲线，直方图等，再盘算相关性指标，最后去思量一些模型方法。如果建模需要，则通常接纳模型方法去筛选特征，如果用一些更为庞大的GBDT，DNN等模型，建议不做特征选择，而做特征交织。2、维度变换：维度变换是将现有数据降低到更小的维度，只管保证数据信息的完整性。

楼主将先容常用的几种有损失的维度变换方法，将大大地提高实践中建模的效率主身分分析（PCA）和因子分析（FA）：PCA通过空间映射的方式，将当前维度映射到更低的维度，使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子（维度更小），用公因子的线性组合来形貌当前的特征向量。奇异值剖析（SVD）：SVD的降维可解释性较低，且盘算量比PCA大，一般用在稀疏矩阵上降维，例如图片压缩，推荐系统。聚类：将某一类具有相似性的特征聚到单个变量，从而大大降低维度。

线性组合：将多个变量做线性回归，凭据每个变量的表决系数，赋予变量权重，可将该类变量凭据权重组合成一个变量。盛行学习：盛行学习中一些庞大的非线性方法，可参考skearn：LLE Example数据变换数据变换包罗对数据举行规范化，离散化，稀疏化处置惩罚，到达适用于挖掘的目的。1、规范化处置惩罚：数据中差别特征的量纲可能纷歧致，数值间的差异可能很大，不举行处置惩罚可能会影响到数据分析的效果，因此，需要对数据根据一定比例举行缩放，使之落在一个特定的区域，便于举行综合分析。

特别是基于距离的挖掘方法，聚类，KNN，SVM一定要做规范化处置惩罚。2、离散化处置惩罚：数据离散化是指将一连的数据举行分段，使其变为一段段离散化的区间。

分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点：模型需要：好比决议树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据举行。

有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。离散化的特征相对于一连型特征更易明白。可以有效的克服数据中隐藏的缺陷，使模型效果越发稳定。

等频法：使得每个箱中的样本数量相等，例如总样本n=100，分成k=5个箱，则分箱原则是保证落入每个箱的样本量=20。等宽法：使得属性的箱宽度相等，例如年事变量（0-100之间），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五个等宽的箱。

聚类法：凭据聚类出来的簇，每个簇中的数据为一个箱，簇的数量模型给定。3、稀疏化处置惩罚：针对离散型且标称变量，无法举行有序的LabelEncoder时，通常思量将变量做0，1哑变量的稀疏化处置惩罚，例如动物类型变量中含有猫，狗，猪，羊四个差别值，将该变量转换成is_猪，is_猫，is_狗，is_羊四个哑变量。若是变量的差别值较多，则凭据频数，将泛起次数较少的值统一归为一类'rare'。稀疏化处置惩罚既有利于模型快速收敛，又能提升模型的抗噪能力。

总结以上先容了数据预处置惩罚中会用到的大部门方法和技术，完全适用于初学者学习掌握，而且对于实践建模会有大幅度提升。以上方法的代码实现，均可在python的pandas和sklearn中完成。大家可凭据需要去查阅学习，网上资料也许多，楼主只提供方法和履历上的借鉴，希望每个认真学习牢固的同学都能获得提升。作者：lswbjtu https://zhuanlan.zhihu.com/p/51131210编辑：机械学习算法与Python实战。

本文关键词：亚慱,体育,app,在线下载,整理,一份,详,细的,亚慱体育app官方下载

本文来源：亚慱体育app在线下载-www.shjiabu.com