Kaggle竞赛获胜者揭示了与CUML的堆叠策略

Kaggle竞赛冠军赢得了cuml

rongchai wang 2025年5月22日12:38

kaggle大师克里斯·德奥特（Chris Deotte）在2025年4月的Kaggle比赛中揭示了他在他的第一名胜利背后的秘密。挑战要求参与者可以预测播客的听力时间，Deotte的创新方法以Nvidia's Cuml（GPU加速机器学习库）为中心，以堆叠模型为中心。开发人员博客。

了解堆叠

堆叠是一种复杂的技术，可结合多个模型的预测以提高性能。 Deotte的策略涉及创建一个三级堆栈，从1级模型（例如梯度增强的决策树（GBDT），深度学习神经网络（NN））以及其他机器学习模型（例如支持向量回归（SVR）和K-Neareart邻居（KNN））开始。然后，使用GPU加速度对这些模型进行了训练，以提高速度和效率。

2级模型随后使用级别1型号的输出进行培训，学习根据不同方案来预测目标。最后，第3级模型平均将2级模型的输出平均，最终以可靠的预测模型为最终。

各种预测方法

在竞争中，Deotte探索了各种预测方法，包括直接预测目标，从ationships，并预测缺失的功能。通过使用不同的体系结构和超参数的不同模型，Deotte能够确定竞争对手独特挑战的最有效策略。

在开发了数百种不同的模型后，Deotte使用正面功能选择来构建最终的堆栈。 1级模型输出（称为折叠（OOF）预测）被用作2级模型的功能。还合并了其他功能，包括模型置信度和平均预测。

培训了多个级别2型号，包括GBDT和NN型号，以及其预测的加权平均值构成了最终的3级输出。这种先进的堆叠技术实现了11.54的交叉验证RMSE和11.44的私人排行榜RMSE，在比赛中获得了第一名。

结论

deotte的成功证明了GPU加速机器Learnei Learnii Learnii Learnii Learnii Learnii Learnii Learnii Learnii Learnii learni neadii neadii selchii neadii neadii learni neadii nearii neadii selch a nearchi 使用暨。通过快速尝试不同的模型，他能够开发出在竞争领域中脱颖而出的先进解决方案。有关他的策略的更多见解，请访问NVIDIA开发人员博客。