X For You 推荐算法

项目简介

X For You 推荐算法 是 X（原 Twitter）官方开源的「For You」信息流核心代码，用 Rust 编写。它决定了用户在信息流中看到哪些帖子、以什么顺序看到，是少见的把工业级社交推荐系统完整公开的项目。

核心思路

For You 信息流的候选内容来自两类来源，最终由同一个模型统一排序：

• 关注内（In-Network）：thunder/ 在内存中维护用户所关注账号的近期帖子。
• 关注外（Out-of-Network）：phoenix/ 的召回模型与 simclusters/ 寻找用户未关注账号的内容，popular_posts_source 补充热门帖子。

Phoenix 模型读取用户近期的互动历史，预测用户对每条帖子执行点赞、转发、屏蔽、举报等行为的概率，再按代码中的权重把这些预测合成为一个分数。

注意：权重作用于「预测概率」而非原始互动计数，不能简单理解为「1 次举报抵消 468 次点赞」。

系统架构

整体由两条流水线协作：

• Post Pipeline：负责找帖、排序、过滤。
• Blending Pipeline：在其外层包装，插入广告、关注推荐、提示等模型不参与排序的内容。

请求路径大致为：

For You 请求
  └─ Home Mixer
       ├─ 查询补全（互动序列、关注列表、屏蔽/静音、已看内容等）
       ├─ 候选召回（Thunder / Phoenix / SimClusters 并行）
       ├─ 模型打分与排序
       └─ 可见性过滤（visibility-filtering）

关键模块

• home-mixer/：主流程与候选流水线。
• phoenix/：排序模型训练与推理代码，含合成数据生成。
• visibility-filtering/：决定帖子展示、丢弃还是加提示。
• botmaker/、scarecrow/、agatha/ 等：生成驱动可见性判断的标签与账号评分。
• Under the Hood：透明度工具，让用户查看账号与帖子被限制展示的聚合信息。

适用人群

适合推荐系统工程师、内容治理研究者，以及希望学习 Rust 大型工程组织方式的开发者。由于依赖内部服务与数据，直接跑通全链路并不现实，更适合作为架构与算法设计的参考读物。

许可

采用 Apache-2.0 许可协议。