演化树模型（使用可分化树群的灵活建模和多任务学习）

决策树集成是广泛使用且具有竞争力的学习模型。尽管它们取得了成功，但用于学习树集成的流行工具包的建模能力有限。例如，这些工具包支持有限数量的损失函数，并且仅限于单任务学习。我们提出了一个灵活的学习树集成框架，它超越了现有的工具包，支持任意损失函数、缺失响应和多任务学习。我们的框架建立在可微（又名软）树集合之上，可以使用一阶方法进行训练。然而，与经典树不同，可微树很难扩展。因此，我们提出了一种新的基于张量的可微树公式，它允许在 GPU 上进行有效的矢量化。我们对 28 个真实的开源和专有数据集进行了实验，这表明我们的框架可以使树集成比流行的工具包更紧凑 100 倍，表达能力提高 23%。

《Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles》

论文地址:http://arxiv.org/abs/2205.09717v1