本文中，云朵君将和大家一起学习数据挖掘中，集合多个机器学习模型，同样可以达到一个很好的效果。下面我们一起看下，如果你有更好的方法，欢迎讨论～
集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。本文就对集成学习的原理做一个总结。
集成学习之结合策略 在上面几节里面我们主要关注于学习器，提到了学习器的结合策略但没有细讲，本节就对集成学习之结合策略做一个总结。我们假定我得到的T个弱学习器是h_1,h_2,...h_T
平均法
对于数值类的回归预测问题，通常使用的结合策略是平均法，也就是说，对于若干个弱学习器的输出进行平均得到最终的预测输出。
投票法 对于分类问题的预测，我们通常使用的是投票法。假设我们的预测类别是h_1,h_2,...h_T。对于任意一个预测样本x，我们的T个弱学习器的预测结果分别是
。
最简单的投票法是相对多数投票法，也就是我们常说的少数服从多数，也就是T个弱学习器的对样本x的预测结果中，数量最多的类别ci𝑐𝑖为最终的分类类别。如果不止一个类别获得最高票，则随机选择一个做最终类别。
稍微复杂的投票法是绝对多数投票法，也就是我们常说的要票过半数。在相对多数投票法的基础上，不光要求获得最高票，还要求票过半数。否则会拒绝预测。
更加复杂的是加权投票法，和加权平均法一样，每个弱学习器的分类票数要乘以一个权重，最终将各个类别的加权票数求和，最大的值对应的类别为最终类别。
学习法 上两节的方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差较大，于是就有了学习法这种方法，对于学习法，代表方法是stacking，当使用stacking的结合策略时， 我们不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，也就是说，我们将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。
在这种情况下，我们将弱学习器称为初级学习器，将用于结合的学习器称为次级学习器。对于测试集，我们首先用初级学习器预测一次，得到次级学习器的输入样本，再用次级学习器预测一次，得到最终的预测结果。
什么是爬山算法？ 爬山算法（Hill Climbing Algorithm）, 又称爬坡算法，是一种针对解决最优化问题的常用算法之一。其过程类比登山时爬上一座山峰的过程，通过朝着“高处”移动来逐渐接近顶峰，达到找到最优解的目的。
爬山算法的基本思路 爬山算法的基本思路是通过从初始解开始，反复地对当前解进行微调，每次改进当前解的一点点，直到某个条件满足而停止。这个过程中需要注意的是，在备选解集合中选择出的解是否为最优解并不确定，只能保证是局部最优解。
爬山算法流程 爬山算法的通用流程如下：
如果有临近解的价值优于当前解，则将其中价值最高的临近解作为当前解。否则，停止并返回当前解。 爬山算法的问题 爬山算法在寻找全局最优解方面有明显的不足，容易陷入局部最优解，因此通常需要采用一些策略来避免这种情况的发生。
爬山算法的改进策略 为了解决爬山算法可能陷入局部最优解的问题，可以采用以下改进策略：
1. 随机化重启爬山算法 随机化重启爬山算法（Random-restart Hill Climbing Algorithm）是通过多次运行爬山算法，每次使用不同的初始解来尝试得到更好的全局最优解。
2. 模拟退火算法 模拟退火算法（Simulated Annealing Algorithm）是将“退火”过程的思想应用到搜索问题中来。它通过对解空间进行随机扰动来达到跳出局部最优解的效果。
3. 遗传算法 遗传算法（Genetic Algorithm）是模拟自然界中的优胜劣汰过程，通过产生新一代的解并在其间进行筛选，来实现全局优化的过程。
首先我们读取数据（由于本次重点介绍集成算法策略，因此数据并不是重点。任意一份数据都可以。如果需要本次使用的数据，可以在@公众号：数据STUDIO 后台联系云朵君免费获取）。
train = pd.read_csv('train.csv' )'test.csv' )f"train:{train.shape} , test:{test.shape} " )train:(101763, 23), test:(67842, 22)train.describe()
train.info()"训练"和 "测试"数据集中都没有缺失值。由于这是一个合成数据集，我们将检查是否有重复数据。
print(f"如果我们从训练数据集中移除 id，维度为 {train.drop(columns = ['id' ], axis = 1 ).drop_duplicates().shape} " )f"如果从训练数据集中删除 id 和缺陷，维度为 {train.drop(columns = ['id' , 'defects' ], axis = 1 ).drop_duplicates().shape} " )f"如果从训练数据集中删除 id、分支计数和缺陷，维度为 {train.drop(columns = ['id' , 'branchCount' , 'defects' ], axis = 1 ).drop_duplicates().shape} " )如果我们从训练数据集中移除 id，维度为 (101763, 22)从上面我们可以看到，"训练" 数据集中有 78 个准重复观测值。现在，让我们来看看 "测试" 数据集。
train['defects' ].value_counts(normalize = True ).plot(kind = 'bar' , color = ['steelblue' , 'orange' ])'Percentage' );
从上面的柱状图中，我们可以看到数据是不平衡的（~77% 为假，~23% 为真）。接下来，我们继续探索输入特征之间的潜在相关性。
corr_mat = train.drop(columns = ['id' , 'defects' ], axis = 1 ).corr()100 , 7 , s = 75 , l = 40
20 , center = 'light' , as_cmap = True )18 , 13 ),dpi=150 )True , cmap = cmap, fmt = '.2f' , center = 0 ,'size' : 12 }, mask = data_mask).set_title('输入特征之间的相关性' );
可以看出以下几点：
branchCount 和 v(g) 之间的相关性为 97%total_Opnd 和 total_Op 之间的相关性为 96%根据上述相关性热图，我们继续探索通过 "PCA" 降维的想法。请注意，所有输入特征都是右偏的，因此在运行 "PCA" 之前，我们先对特征进行 "对数变换"，然后再应用 "PCA"。
colnames = train.drop(columns = ['id' , 'defects' ], axis = 1 ).columns.tolist()'log-tran' , ColumnTransformer([('log' , FunctionTransformer(np.log1p), colnames)])), 'stand' , StandardScaler()), 'pca' , PCA())]).fit(train[colnames])
plt.figure(figsize = (10 , 8 ),dpi=150 )for i in range(1 , 22 )], y = np.cumsum(pca_md['pca' ].explained_variance_ratio_), color = 'steelblue' , markers = True );'维度数' )'解释性方差(%)' )for i in range(1 , 22 )]);
从上面我们可以看出，前 10 个成分可以解释数据中 99% 以上的变化。接下来，让我们对这些成分进行可视化分析，看看是否存在可以利用的模式。
pca_10 = Pipeline([('log-tran' , ColumnTransformer([('log' , FunctionTransformer(np.log1p), colnames)])), 'stand' , StandardScaler()), 'pca' , PCA(n_components = 10 ))]).fit_transform(train[colnames])'PCA_' ) + str(i) for i in range(1 , 11 )])'defects' ] = train['defects' ].map({False : 0 , True : 1 })'defects' , corner = True )
从上述 "PCA" 配对图中，我们可以观察到以下几点：
有些样本（"defects = True"）很难预测。例如，如果我们仔细观察 PCA_1 和 PCA_2 图，在左下角，有一些蓝色样本（"defects = True"），而该区域的大多数样本都是红色的（"defects = False"）。 接下来，我们运行 "k-means"，看看是否有有趣的模式可以利用。
inertias = list()for i in tqdm(range(2 , 21 )):'log-tran' , ColumnTransformer([('log' , FunctionTransformer(np.log1p), colnames)])), 'stand' , StandardScaler()), 'kmeans' , KMeans(n_clusters = i, n_init = 20 , random_state = 42 ))]).fit(train[colnames])'kmeans' ].inertia_)10 , 8 ),dpi=150 ) for i in range(2 , 21 )], y = inertias, color = 'steelblue' )'Number of Clusters' )'Cluster Inertia' )
从上图来看，根据聚类间距，5 个聚类似乎是该数据集合适的聚类数量（基于肘部方法）。接下来，我们探讨每个聚类中的 "defects" 比例。
kmeans = Pipeline([('log-tran' , ColumnTransformer([('log' , FunctionTransformer(np.log1p), colnames)])), 'stand' , StandardScaler()), 'kmeans' , KMeans(n_clusters = 5 , n_init = 20 , random_state = 42 ))]).fit(train[colnames])'cluster' ] = kmeans['kmeans' ].labels_'每个群组中的defects比例为\n' )'cluster' )['defects' ].mean())每个群组中的defects比例为可以看出以下几点：
群组 4 是 "defects" 数量较多的群组。 群组 2 是 "defects" 数量最多的第二个群组。 群组 0 是 "defects" 数量最少的群组。 接下来，我们简要探讨几个二元关系，如下所示。
fig, axes = plt.subplots(1 , 2 , figsize = (20 ,8 ), dpi=150 )0 ], data = train, x = 'uniq_Op' , y = 'uniq_Opnd' , hue = 'defects' );1 ], data = train, x = 'total_Op' , y = 'total_Opnd' , hue = 'defects' );
从上面的图表中，我们可以看出以下几点：
接下来，我们计算每个输入特征中唯一值的数量，如下所示。
train.drop(columns = ['id' , 'defects' ], axis = 1 ).nunique()loc 378可以看出，"locCodeAndComment" 是唯一值最少的特征；它只有 29 个唯一值。
我用了如下6个模型完成了一次集成，效果惊人
首先，我们在不进行特征工程或 HPO 的情况下建立一些标准模型。首先，我们定义输入特征和目标特征。
定义爬山策略 def hill_climbing (x, y, x_test) :# Evaluating oof predictions for col in x.columns:# Sorting the model scores for k, v in sorted(scores.items(), key = lambda item: item[1 ], reverse = True )}# Sort oof_df and test_preds False 0 ]0 ]1 :]-0.5 , 0.51 , 0.01 ) 0 while not STOP:1 None , None for k in MODELS:for wgt in weight_range:1 - wgt) * current_best_ensemble + wgt * MODELS[k]if cv_score > potential_new_best_cv_score:if k_best is not None :1 - wgt_best) * current_best_ensemble + wgt_best * MODELS[k_best]1 - wgt_best) * current_best_test_preds + wgt_best * x_test[k_best]1 , inplace = True )if MODELS.shape[1 ] == 0 :True else :True return [hill_ens_pred_1, hill_ens_pred_2]接下来，我们通过 10 倍交叉验证建立了几个标准模型。
上下滑动查看更多源码
ens_cv_scores, ens_preds = list(), list()10 , n_repeats = 1 , random_state = 42 )for i, (train_idx, test_idx) in enumerate(sk.split(X, Y)):'----------------------------------------------------------' )######## ## RF ## ######## 500 , 7 ,15 ,10 ).fit(X_train, Y_train)1 ]'Fold' , i, '==> RF oof ROC-AUC score is ==>' , RF_score)1 ]################# ## Extra Trees ## ################# 500 , 7 ,15 ,10 ).fit(X_train, Y_train)1 ]'Fold' , i, '==> ET oof ROC-AUC score is ==>' , ET_score)1 ]########################## ## HistGradientBoosting ## ########################## 0.01 ,False ,0.01 ,500 ,5 ,255 ,15 ,10 ).fit(X_train, Y_train)1 ]'Fold' , i, '==> Hist oof ROC-AUC score is ==>' , hist_score) 1 ]########## ## LGBM ## ########## 'binary' ,500 ,7 ,0.01 ,20 ,3 ,3 ,0.7 ,0.7 ).fit(X_train, Y_train)1 ]'Fold' , i, '==> LGBM oof ROC-AUC score is ==>' , lgb_score) 1 ]######### ## XGB ## ######### 'binary:logistic' ,'hist' ,0.7 , 2 , 0.01 , 7 , 10 , 500 , 0.7 ).fit(X_train, Y_train)1 ]'Fold' , i, '==> XGB oof ROC-AUC score is ==>' , xgb_score)1 ]############## ## CatBoost ## ############## 'Logloss' ,500 ,0.01 ,7 ,0.5 ,0.7 ,30 ,5 ,False , 'CPU' ).fit(X_train, Y_train)1 ]'Fold' , i, '==> CatBoost oof ROC-AUC score is ==>' , cat_score)1 ] ############## ## Ensemble ## ############## 6 6 'Fold' , i, '==> Average Ensemble oof ROC-AUC score is ==>' , ens_score_fold)############################ ## Hill Climbing Ensemble ## ############################ 'RF' : RF_pred,'ET' : ET_pred, 'Hist' : hist_pred, 'LGBM' : lgb_pred,'XGB' : xgb_pred,'Cat' : cat_pred})'RF' : RF_pred_test,'ET' : ET_pred_test, 'Hist' : hist_pred_test, 'LGBM' : lgb_pred_test,'XGB' : xgb_pred_test,'Cat' : cat_pred_test})0 ])1 ])'Fold' , i, '==> Hill Climbing Ensemble oof ROC-AUC score is ==>' , hill_ens_score_fold)1
print('10-folds 的 ROC-AUC 平均集合得分是' , np.mean(ens_cv_scores))'10-folds 的 ROC-AUC 爬山策略得分是' , np.mean(hill_ens_cv_scores))10-folds 的 ROC-AUC 平均集合得分是0.7917392082505299下面给大家总结了一个爬山策略的工程代码，大家可酌情使用。如果你觉得有用，不妨点个赞～
上下滑动查看更多源码
import pandas as pdimport numpy as npimport osfrom sklearn.metrics import roc_auc_scorefrom sklearn.preprocessing import minmax_scale""" def init_hillclimb () :for label in LABELS:for label in LABELS:0 return best_ensemble, best_score""" def score_ensemble (ensemble, label) :for model in ensemble:return score""" def find_best_improvement (ensemble, label) :0 for i in range(0 ,len(files)):if score > best_score:-1 ]return best_ensemble, best_score""" def climb (best_ensemble, best_score) :for label in LABELS: return best_ensemble, best_score""" def get_optimal_weights (best_ensemble) :for label in LABELS:for num in set(best_ensemble[label]):return weights""" def get_optimal_blend (optimal_weights) :"sample_submission.csv" ))for label in LABELS:for key in optimal_weights[label]:return blenddef get_sub_file (num) :"oof" , "sub" )return pd.read_csv(os.path.join(SUB_PATH, filename))if __name__ == "__main__" :"../input/jigsaw-toxic-comment-classification-challenge/" "../input/oofmodels/trained-models/" "train.csv" )).fillna(' ' )"test.csv" )).fillna(' ' )2 :]# Get submissions and out-of-fold predictions 29 ,51 ,52 ]"oof" + str(num) + ".csv" for num in subnums]for filename in filenames]# Run hillclimb for i in range(25 ):"-------------" )"Step" , i) "Best ensemble:" )"Best score:" )"AUC:" , np.mean([best_score[label] for label in LABELS]))# Get optimal weights "Optimal weights:" )# Construct the blend # Submit "hillclimb.csv" , index=False )
