深度学习输出和输入数据的关系（关于表格深度学习中数字特征的嵌入问题）

最近，类似Transformer的深度架构在表格数据问题上表现出了强大的性能。与传统模型不同，例如MLP，这些架构将数字特征的标量值映射到高维嵌入，然后再混合到主干中。在这项工作中，我们认为数字特征的内联是一个未被充分开发的自由度，它允许构建更强大的DL模型并在一些传统的GBDT友好基准上与GBDT竞争。我们首先描述了两种概念上不同的构建嵌入模块的方法：第一种方法是基于标量值的片状线性编码，第二种方法是利用周期性激活。然后，我们通过经验证明，与基于线性层和ReLU激活等传统模块的嵌入相比，这两种方法可以带来显著的性能提升。重要的是，我们还表明，嵌入数字特征对许多骨干网是有益的，而不仅仅是对变形金刚。具体来说，经过适当的嵌入，简单的类似MLP的模型可以与基于注意力的架构相媲美。总的来说，我们强调数字特征的嵌入是一个重要的设计方面，这对进一步改进表格DL具有良好的潜力。

《On Embeddings for Numerical Features in Tabular Deep Learning》

论文地址:http://arxiv.org/abs/2203.05556v1