交叉特征组合：手动与自动的高阶特征交互

在结构化数据建模中，单一特征往往无法充分表达数据内部的非线性关系。特征交叉（Feature Crossing）通过组合两个或多个原始特征，构造出能捕获特征间交互作用的新特征，从而显著提升模型的表现力。本教程将系统讲解交叉特征的基本概念、手动构造方法以及现代自动特征交互技术，帮助你理解什么时候需要交叉、如何高效地生成它们。

什么是交叉特征？

交叉特征是将两个或多个原始特征的取值进行组合后形成的新特征。它的核心作用是让模型学习到“与”和“且”的逻辑关系。

例如，在预测用户是否会点击广告的场景中：

• 特征 性别=男 和 职业=程序员 单独来看对点击率有一定影响；
• 但将二者组合成 性别_职业=男_程序员 这一交叉特征后，模型能够专门学习“男性程序员”这个人群的独特点击偏好，这是线性加法模型无法直接捕捉的。

交叉特征通常分为：

• 二阶交叉：两个特征之间的交互，如 (A, B)。
• 高阶交叉：三个及以上特征之间的交互，如 (A, B, C)。

为什么需要特征交叉？线性模型的局限性

线性模型（如逻辑回归）的表达能力完全依赖于特征的线性组合：

$$ y = w_0 + \sum_{i} w_i x_i $$

这种形式无法自动捕捉特征之间的非线性依赖关系。即使数据中存在“年龄在20–30岁且城市为上海的用户购买率极高”这样的模式，如果模型只有独立的 年龄 和 城市 特征，它只能在所有用户上学习年龄和城市的全局权重，无法针对特定组合进行精细化拟合。

构造交叉特征后，模型变为：

$$ y = w_0 + \sum_i w_i x_i + \sum_i \sum_j w_{ij} (x_i \cdot x_j) $$

新增的 $w_{ij}$ 项专门负责特征 $i$ 和特征 $j$ 间的交互效应，使得线性模型也能处理非线性。这正是特征交叉的价值所在。

手动特征交叉

在深度学习和大规模自动交叉技术普及之前，特征工程主要依赖人工设计和领域知识。手动交叉虽然耗时，但对理解数据和业务逻辑仍有不可替代的作用。

多项式特征

最直接的方式是使用多项式组合。对于两个分类特征，可以生成所有可能的取值组合作为新的特征。例如 颜色 和 尺寸 的组合：

颜色_尺寸：红_S, 红_M, 红_L, 蓝_S, 蓝_M, 蓝_L ...

在数值特征上，可以生成乘积项 $x_i \cdot x_j$ 或更高阶项 $x_i \cdot x_j \cdot x_k$。scikit-learn 中的 PolynomialFeatures 可自动生成这些组合，但需注意特征数量随阶数和原始特征数呈爆炸式增长。

笛卡尔积与哈希技巧

对于超高基数的类别特征（如用户ID和物品ID），直接做笛卡尔积会导致特征维度急剧膨胀。此时可以使用哈希技巧（Hashing Trick）：将组合键通过哈希函数映射到固定大小的桶中，用哈希碰撞代替精确组合。这虽然会损失一些信息，但能控制维度，且实现简单。

# 伪代码示例
combined = hash(str(user_id) + "_" + str(item_id)) % bucket_size

手动组合的实践与挑战

• 优势：特征含义明确，可解释性强；可以融入业务先验，选取真正有价值的交叉。
• 挑战：特征维度爆炸，需要大量试错；高阶交叉（3阶及以上）几乎不可能手动穷举；泛化能力弱 —— 对于训练集中未出现的组合，模型无法进行预测。

自动特征交叉

为了克服手动方法的局限，一系列自动学习特征交互的模型被提出。它们能在训练过程中端到端地发现重要的特征组合，并可处理未见过的新组合。

因子分解机（Factorization Machines, FM）

FM 是自动学习二阶特征交叉的经典模型。它为每个特征学习一个隐向量 $\mathbf{v}_i$，然后用隐向量的内积来表示两个特征的交互权重：

$$ y = w_0 + \sum_i w_i x_i + \sum_i \sum_{j>i} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j $$

这样做有两个关键优势：

1. 参数共享：交互权重不再独立，而是由隐向量生成，极大减少了参数量（从 $O(n^2)$ 降到 $O(nk)$，$k$ 为隐向量维度）。
2. 泛化到新组合：即使在训练集里 (A, B) 组合从未同时出现，但特征 A 和 B 都有各自的隐向量，它们的交互仍然可以被评估。

FM 可以高效地扩展到数百万特征，是许多工业推荐系统的基石。

深度交叉网络（Deep & Cross Network, DCN）

DCN 专为自动学习有界高阶特征交互而设计。它包含两个并行组件：

• Deep 网络：普通全连接层，隐式学习高阶交互；
• Cross 网络：通过公式 $x_{l+1} = x_0 x_l^T w_l + b_l + x_l$ 显式地学习特征交叉。每一层都产生更高一阶的交叉项，且交叉阶数随网络深度指数增长，参数量仅线性增加。

这种方式兼顾了显式交叉的可解释性和深度网络的表达能力，非常适合大规模稀疏特征场景。

Wide & Deep / DeepFM

两者都是“记忆+泛化”的经典范式：

• Wide & Deep：Wide 部分使用手工设计的交叉特征进行记忆，Deep 部分用 DNN 学习隐式高阶交互。
• DeepFM：用 FM 替换 Wide 部分，自动学习二阶交叉，无需人工设计特征。两个组件共享同一输入和嵌入，端到端训练。

DeepFM 既能低阶又能高阶，且无需特征工程，成为点击率预估等任务中的强基线模型。

xDeepFM

xDeepFM 在 DeepFM 的基础上引入了 Compressed Interaction Network (CIN)，能够以向量级（vector-wise）的方式显式地学习高阶特征组合。与 DCN 的位级交叉不同，CIN 在嵌入向量的维度上进行交互，捕捉特征场之间的交互模式。

CIN 的每一层计算公式可概括为： $$ \mathbf{X}{h,*}^k = \sum{i=1}^{H_{k-1}} \sum_{j=1}^{m} W_{ij}^{k,h} (\mathbf{X}{i,*}^{k-1} \circ \mathbf{X}{j,*}^0) $$ 这里 $m$ 是原始特征字段数，$\circ$ 表示逐元素乘积。通过可学习的参数矩阵，CIN 在不同阶数之间进行特征组合，显式地输出各阶交叉特征。

AutoInt（自注意力特征交叉）

AutoInt 利用多头自注意力机制自动学习高阶特征交互。每个特征字段的嵌入向量被视为一个 token，多头注意力可以计算任意两个特征的交互强度。第 $h$ 个注意力头下，特征 $i$ 和 $j$ 的交互权重为： $$ \alpha_{ij}^{(h)} = \frac{\exp(\psi^{(h)}(\mathbf{e}_i, \mathbf{e}j))}{\sum{k} \exp(\psi^{(h)}(\mathbf{e}_i, \mathbf{e}_k))} $$ 其中 $\psi$ 是一个小网络。不同头可以捕捉不同类型的交叉模式，堆叠多层后能建模任意高阶特征交互。AutoInt 还保留了残差连接，避免深层时梯度消失。

如何选择：手动与自动的权衡

在实际应用中，通常可以先用 FM 类模型快速验证特征交叉的价值，然后逐步引入更复杂的自动模型。手动交叉依然可以作为辅助，尤其在可靠性要求高的风控、金融场景中。

实践建议

1. 从简单开始：先用 FM 或 DeepFM 构建基线，观察模型对交叉特征的需求程度。
2. 注意特征工程与模型自动学习的结合：将重要的强业务交叉特征（如节假日×商品类别）显式输入到 Wide 部分，让 Deep 部分去捕获剩余的长尾交互。
3. 控制交叉阶数：并不是阶数越高越好。过高的阶数可能导致过拟合，且收益递减。一般3–4阶已足够覆盖大部分交互模式。
4. 监控特征膨胀：无论是哈希桶大小还是隐向量维度，都需要通过验证集调试，平衡表达能力与计算开销。
5. 利用嵌入可视化分析：训练后查看特征隐向量，可以发现哪些特征在交互空间内靠近，辅助理解模型。

总结

特征交叉是从线性模型通向强大非线性建模的关键桥梁。手动交叉直观但扩展性差，自动交叉模型（FM、DeepFM、DCN、AutoInt 等）让算法能在海量特征中自主学习复杂交互，极大解放了特征工程师的生产力。理解这些技术的原理和适用边界，将帮助你在真实项目中做出更合理的建模决策，平衡效果、效率与可维护性。