一:问题背景

在这篇paper中,首次提到推荐系统中的one-epoch现象: Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models

在点击率,转化率(CTR/CVR)预测模型中,作者观察到一个有趣的one-epoch过拟合现象:

Untitled

如上图所示,从第二轮开始,模型在测试集上的性能开始下降。作者通过消融实验证明,模型的结构优化器特征稀疏性等与one-epoch现象密切相关。

注意:one-epoch现象是一个常见的问题,它不局限于一个特定的模型结构或数据集。

二:现象分析

作者从模型层面和特征层面对此现象进行分析:

模型层面包括模型结构、模型参数、batch_size大小、激活函数,优化器和学习率

Untitled

Untitled

作者从embedding_dim,MLP的hidden_units数量,MLP层数等三个方面去做实验,发现都不能缓解one-epoch现象;

甚至,作者将embedding_dim大小设置为1,这意味着每个特征仅由一个标量表示,参数总数已经与LR模型接近的情况下,仍然存在one-epoch现象;

Untitled

Untitled