
python 用随机森林模型补充数值变量缺失值
对数据建模之前,填补缺失值是必不可少的一步,这里把用随机森林模型快速预测缺失值的方法总结如下,以方便日后的工作。# data_df: DataFrame类型的数据# obj_column:待填补缺失值的列名# missing_other_column:数据中含义空值的其他列########## 缺失值处理def fill_miss_byRandomForest(data_df , obj_colu
·
对数据建模之前,填补缺失值是必不可少的一步,这里把用随机森林模型快速预测缺失值的方法总结如下,以方便日后的工作。
# data_df: DataFrame类型的数据
# obj_column:待填补缺失值的列名
# missing_other_column:数据中含义空值的其他列
########## 缺失值处理
def fill_miss_byRandomForest(data_df , obj_column, missing_other_column ):
## 先把有缺失的其他列删除掉missing_other_column
data_df = data_df.drop(missing_other_column , axis = 1)
# 分成已知该特征和未知该特征两部分
known = data_df[data_df[obj_column].notnull()]
unknown = data_df[data_df[obj_column].isnull()]
# y为结果标签值
y_know = known[obj_column]
# X为特征属性值
X_know= known.drop(obj_column , axis = 1)
from sklearn.ensemble import RandomForestRegressor
rfr = RandomForestRegressor(random_state=0, n_estimators=200,max_depth=3,n_jobs=-1)
rfr.fit(X_know,y_know)
# 用得到的模型进行未知特征值预测
# X为特征属性值
X_unknow= unknown.drop(obj_column , axis = 1)
predicted = rfr.predict(X_unknow).round(0)
data_df.loc[(data_df[obj_column].isnull()), obj_column] = predicted
return data_df
if __name__ == '__main__':
import pandas as pd
import numpy as np
data = pd.read_csv('data/cs-training.csv')
data.describe()
data.columns.tolist()
### 调用fill_miss_byRandomForest函数,补充MonthlyIncome的缺失值
data1_MonthlyIncome=fill_miss_byRandomForest(data , 'MonthlyIncome' , 'NumberOfDependents')#用随机森林填补MonthlyIncome 的缺失值
更多推荐
所有评论(0)