快手OneRec:开启端到端生成式推荐新时代
AI开源项目
快手OneRec:开启端到端生成式推荐新时代

OneRec是快手推出的一款端到端生成式推荐系统,通过大模型技术重构传统推荐架构,实现了效果与成本的双重突破。

开通正版Chatgpt账号联系QQ:515002667
OneRec是快手推出的一款端到端生成式推荐系统,通过大模型技术重构传统推荐架构,实现了效果与成本的双重突破。

一、主要功能

  1. 端到端生成式架构:采用编码器-解码器架构,将推荐问题转化为序列生成任务。编码器整合用户历史行为序列,解码器通过稀疏混合专家(MoE)架构逐步生成用户可能感兴趣的视频。
  2. 会话式生成方法:与传统的逐点预测不同,OneRec能够生成整个推荐列表,更好地捕捉上下文信息。
  3. 强化学习偏好对齐:引入基于奖励机制的偏好对齐方法,通过强化学习增强模型效果,使模型能够更好地感知用户的细粒度偏好,提升推荐的精准度。
  4. 多模态分词器:首创协同感知的多模态分词方案,融合视频的标题、标签、语音转文字、图像识别等多维信息,转化为分层的语义ID,能更精准地建模用户兴趣。

二、技术原理

  1. 编码器-解码器架构:编码器负责将用户的全生命周期行为序列压缩成兴趣向量,解码器则通过稀疏混合专家(MoE)架构逐步生成用户可能感兴趣的视频,能更好地捕捉用户兴趣的变化,并生成连贯的推荐列表。
  2. 多模态分词器:通过融合视频的标题、标签、语音转文字、图像识别等多维信息,采用RQ-Kmeans技术,将每个视频转化为3层粗到细的语义ID。
  3. 强化学习偏好对齐:模型利用偏好奖励、格式奖励和业务奖励构建综合奖励系统,优化生成结果,使模型更好地感知用户的细粒度偏好。
  4. 性能优化:通过架构重构,将关键算子数量大幅压缩,通过稀疏MoE架构扩展模型容量,显著提升了计算效率。

三、应用场景

  1. 短视频推荐:在快手的短视频推荐主场景中表现突出,承担了约25%的请求(QPS),通过生成式架构和强化学习偏好对齐,在用户停留时长、点赞、关注、评论等交互指标上均取得了显著提升。
  2. 本地生活服务:推动了交易总额(GMV)增长21.01%,订单量提升17.89%,购买用户数增长18.58%,新客获取效率提升了23.02%。
  3. 直播内容匹配:通过动态生成推荐序列,能更好地匹配用户的实时兴趣,提升用户在直播场景中的参与度和互动率。
  4. 广告投放:根据用户的兴趣和行为动态生成广告推荐,提高广告的精准度和转化率。

四、使用方法

OneRec已经在快手App和极速版中全面上线,用户无需额外操作即可享受其智能推荐服务。对于开发者而言,可以通过快手的技术平台或API接口接入OneRec系统,实现个性化推荐功能。

五、适用人群

  1. 快手平台用户:能够获得更精准、更连贯的推荐内容,提升使用体验。
  2. 内容创作者:通过OneRec的精准推荐,能够更好地触达目标受众,提升内容的传播效果。
  3. 企业与广告商:在广告投放和本地生活服务等领域,OneRec能够帮助其更精准地定位目标客户,提高营销效果。

六、优缺点介绍

优点

  1. 推荐效果显著提升:通过端到端生成式架构和强化学习偏好对齐,OneRec能够生成更精准、更连贯的推荐内容。
  2. 成本大幅降低:运营成本仅为传统方案的10.6%,显著降低了计算和存储开销。
  3. 创新性强:首次将大模型技术应用于推荐系统,为推荐系统的发展提供了新的思路。
  4. 多场景适用:不仅适用于短视频推荐,还在本地生活服务、直播内容匹配和广告投放等领域表现出色。

缺点

  1. 技术复杂度高:OneRec采用了复杂的编码器-解码器架构和多模态分词技术,对技术团队的研发和维护能力要求较高。
  2. 数据依赖性强:需要大量的用户行为数据和内容数据来训练模型,数据的质量和规模直接影响推荐效果。
  3. 实时性挑战:虽然OneRec能够动态生成推荐序列,但在实时性要求极高的场景中,可能需要进一步优化以满足需求。

七、分类标签

推荐系统、人工智能、短视频、本地生活服务、直播、广告投放

相关导航