DIN——开山之作，使用target-attention捕捉用户兴趣

在DIN之前，对于用户兴趣的表达就是直接把所有历史点击做avg sum pooling，但是使用avg sum pooing会导致所有历史行为都没有区分。

为了刻画user对candidate的兴趣程度，阿里巴巴将其扩展到soft attention，就是DIN里面的动态兴趣表达，如下式所示:

其中𝑉𝑢是用户Embedding向量，𝑉𝑎是目标广告的Embedding向量，𝑉𝑖是用户第i次的行为Embedding，𝑔(𝑉𝑖,𝑉𝑎)是Attention函数，可以看到目标广告Embedding会和每次用户行为Embedding计算权重，最后的加权和就是用户的兴趣表达。DIN模型结构如图4所示，其中Attention的实现是一个小的神经网络，输入是用户历史行为某个Embedding向量以及目标广告Embedding向量，经过[q,k,q-k,q*k]后，与原Embedding向量一同连接后形成全连接层的输入，最后通过输出层生成注意力得分。

注：DIN中的行为序列中的具体信息只有item id；

DIN是TA(target-attention)应用于用户行为序列的开山之作，提出的dice激活函数（https://zhuanlan.zhihu.com/p/78829402）也是很有意思的工作，第一次让大家知道用户历史行为序列中的每一个行为都是可以被推荐系统拿来使用的，DIN成为推荐系统中的里程碑工作之一，影响至今；

mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。

不同于Transformer 模型会涉及两种 mask，padding mask 和 sequence mask，DIN只使用了padding mask：

• padding mask 在scaled dot-product attention 中使用，为了将输入序列对齐。具体来说，就是给短序列后补 0，长序列左截取。实际代码中利用tf.where将padding的向量(每个样本序列中空缺的商品)权重置为极小值(-2 ** 32 + 1)，而不是0，后续的softmax会使得此权重逐渐消失。
• sequence mask 是为了使得 decoder 不能看见未来的信息。对于一个序列，在 time_step 为 t 的时刻，我们的解码输出应该只能依赖于 t 时刻之前的输出。使用一个全0的上三角矩阵（），把这个矩阵作用在每一个序列上即可。（decoder 的 self-attention，同时使用padding mask 和 sequence mask 作为 attn_mask，具体实现就是两个mask相加作为attn_mask）

DIEN——刻画用户兴趣的演化之路

DIN的成功主要在于使用Attention机制动态地刻画用户兴趣，但是DIN并没有考虑用户历史行为之间的相关性，也没考虑行为之间的先后顺序。DIEN的提出，就是为了解决针对“下一次购买”如何推荐的问题。

如上图所示，DIEN模型和DIN模型结构相似，输入特征分别经过Embedding层、兴趣表达层、MLP层、输出层，最终得到CTR预估。DIEN创新在于构建了兴趣进化网络，模拟用户的兴趣演化，并通过并行的GRU利用用户行为的顺序信息。