荷兰，鹿特丹 —— 在即将于2025年3月30日至4月3日举行的第20届欧洲计算机系统会议（EuroSys ’25）上，来自香港大学和字节跳动的研究人员将展示他们的最新研究成果——HybridFlow，一种灵活且高效的强化学习从人类反馈（RLHF）框架。该框架专门针对大型语言模型（LLM）的对齐训练，通过结合单控制器和多控制器范式，实现了RLHF数据流的灵活表示和高效执行，显著提高了训练效率和计算吞吐量。
一、强化学习领域的新突破
HybridFlow框架的推出，标志着在强化学习领域，尤其是在需要大量人类反馈来训练大型语言模型的场景中，一个重要的技术突破。传统的RLHF系统在执行分布式计算时，由于控制调度开销大，效率不高。HybridFlow通过精心设计的层次化API，解耦了复杂的RLHF数据流中的计算和数据依赖，允许在不同设备上灵活映射计算，同时保持了高效的操作协调。
二、实验结果显著：1.53倍至20.57倍的吞吐量提升
研究人员通过一系列实验，对比了HybridFlow与传统基线系统的性能。结果显示，HybridFlow在运行各种RLHF算法时，相比于最先进的基线系统，吞吐量提升了1.53倍至20.57倍。这一显著的性能提升，证明了HybridFlow在处理大型语言模型训练时的高效性。
三、3D-HybridEngine：零内存冗余的创新设计
HybridFlow的核心组件之一，3D-HybridEngine，专为演员模型的训练和生成设计，支持在这两个阶段使用不同的3D并行配置。这种设计不仅实现了零内存冗余，而且在模型参数在训练和生成阶段之间重新分配时，显著减少了通信开销。
四、自动设备映射算法：优化GPU资源分配
HybridFlow还包括一个自动设备映射算法，该算法能够根据给定的GPU集群配置，自动确定每个模型在RLHF数据流中的最优设备放置和并行策略，从而最大化RLHF的吞吐量。
HybridFlow的推出，不仅为研究人员和开发者提供了一个强大的工具，以更高效地训练和优化大型语言模型，而且为强化学习领域带来了新的研究方向和可能性。随着人工智能技术的不断进步，HybridFlow有望在未来的智能系统开发中发挥重要作用。
