二手车交易价格预测：数据的探索性分析
-
EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
-
当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
-
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
-
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。
import numpy as np import pandas as pd import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from scipy.special import jn from IPython.display import display, clear_output import time warnings.filterwarnings('ignore') %matplotlib inline ## 模型预测的 from sklearn import linear_model from sklearn import preprocessing from sklearn.svm import SVR from sklearn.ensemble import RandomForestRegressor,GradientBoostingRegressor ## 数据降维处理的 from sklearn.decomposition import PCA,FastICA,FactorAnalysis,SparsePCA import lightgbm as lgb import xgboost as xgb ## 参数搜索和评价的 from sklearn.model_selection import GridSearchCV,cross_val_score,StratifiedKFold,train_test_split from sklearn.metrics import mean_squared_error, mean_absolute_error ## 通过Pandas对于数据进行读取 Train_data = pd.read_csv('used_car_train_20200313.csv', sep=' ') TestA_data = pd.read_csv('used_car_testA_20200313.csv', sep=' ') ## 输出数据的大小信息 print('Train data shape:',Train_data.shape) print('TestA data shape:',TestA_data.shape) Train data shape: (150000, 31) TestA data shape: (50000, 30) 要养成看数据集的head()以及shape的习惯，这会让你每一步更放心，导致接下里的连串的错误, 如果对自己的pandas等操作不放心，建议执行一步看一下，这样会有效的方便你进行理解函数并进行操作
Train_data.head() #通过 .info() 简要可以看到对应一些数据列名，以及NAN缺失信息 Train_data.info() #通过 .columns 查看列名 Train_data.columns TestA_data.info() #查看每一列类型和缺失值情况 #通过 .describe() 可以查看数值特征列的一些统计信息 Train_data.describe() 在实际的不管是工程还是比赛过程中，EDA只是最开始的一步，也是最基本的一步。
接下来一般要结合模型的效果以及特征工程等来分析数据的实际建模情况，根据自己的一些理解，查阅文献，对实际问题做出判断和深入的理解。
最后不断进行EDA与数据处理和挖掘，来到达更好的数据结构和分布以及较为强势相关的特征
数据探索在机器学习中我们一般称为EDA（Exploratory Data Analysis）：
是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。
原文链接：https://blog.csdn.net/sdm12345/article/details/105074986?ops_request_misc=&request_id=82fed7e7a54a499aafe8a03e4170b0dd&biz_id=&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~koosearch~default-26-105074986-null-null.268%5Ev1%5Econtrol&utm_term=%E6%BE%B3%E6%B4%B2%E4%BA%8C%E6%89%8B%E9%97%B2%E7%BD%AE
