
Flex.2-preview是由Ostris团队推出的一款基于8亿参数的文本到图像扩散模型,专为集成到ComfyUI工作流设计,凭借其强大的控制能力与高效生成特性,迅速成为AI艺术创作社区的焦点。
一、主要功能
通用控制支持
内置线条(Canny)、姿态和深度控制,允许用户通过精确控制图像来引导生成结果,例如基于深度图生成3D风格场景或基于线稿生成精细插图。
图像修补能力
支持高级图像修补(inpainting),用户可通过掩码指定区域进行内容替换或修复,例如将图像中的狗替换为“白色机器人狗坐在长椅上”。
ComfyUI工作流集成
模型专为ComfyUI优化,提供节点化工作流支持,简化复杂任务的配置,如文本到图像、图像到图像与控制网络的组合。
高效生成
基于8亿参数的精简架构,生成1024x1024高分辨率图像仅需50步推理,适合16GB VRAM的消费级GPU,如RTX3060或更高。
二、技术原理
Flex.2-preview基于Black Forest Labs的Flux.1Schnell模型,经过多阶段微调与优化。其技术架构包括:
架构优化
继承Flux.1的整流流变换器(Rectified Flow Transformer)架构,拥有8个双变换器块,相比Flux.1-dev的19个更轻量。
控制与修补集成
采用16通道潜在空间设计,结合噪声潜在、变分自编码器(VAE)编码的修补图像、掩码与控制输入,支持灵活的控制与修补工作流。
开源与微调支持
通过AI-Toolkit提供微调工具,开发者可绕过指导嵌入器进行定制化训练,生成特定风格或主题的模型,同时保留Apache2.0许可证的商业友好性。
高效推理
支持FP8与bfloat16精度,通过TorchAo的8位量化降低内存占用,优化了在RTX3090等硬件上的推理速度。
三、应用场景
Flex.2-preview的多功能性使其适用于多种创意与商业场景:
数字艺术与插图
艺术家可通过线条与深度控制快速生成概念艺术或插图,适合游戏美术与动画预可视化。
广告与品牌设计
利用图像修补功能快速调整广告素材,如替换产品或背景,同时保持品牌风格一致性。
影视与内容创作
支持基于姿态控制的角色设计或场景生成,加速故事板与视觉效果开发。
教育与原型设计
为教学或产品原型提供低成本的图像生成方案,学生与初创企业可快速迭代视觉创意。
四、使用方法
Flex.2-preview的部署对ComfyUI用户极为友好,硬件要求为16GB VRAM(推荐RTX3060或更高)。具体步骤如下:
从Hugging Face下载Flex.2-preview.safetensors(下载链接),放置于ComfyUI/models/diffusion_models/。
确保ComfyUI已更新至最新版本,并安装必需的CLIP模型(t5xxl_fp16.safetensors与clip_l.safetensors)与VAE(ae.safetensors)。
下载官方提供的flex2-workflow.json,拖入ComfyUI加载工作流,配置提示词与控制图像(如深度图或线稿)。
运行推理,调整control_strength(推荐0.5)与guidance_scale(推荐3.5),生成1024x1024图像。
五、适用人群
Flex.2-preview适用于以下人群:
艺术家与设计师
需要快速生成高质量图像、进行概念设计或插图创作。
广告与品牌从业者
需要快速调整广告素材或进行品牌视觉设计。
影视与内容创作者
需要生成角色设计或场景概念图。
教育工作者与学生
需要低成本的图像生成工具进行教学或原型设计。
六、优缺点介绍
优点:
高效生成
生成1024x1024高分辨率图像仅需50步推理,速度比前代模型快。
强大的控制能力
支持线条、姿态和深度控制,生成图像的细节与控制精度高。
开源与定制化
采用Apache2.0许可证,支持微调,用户可以根据需求定制模型。
硬件友好
适合16GB VRAM的消费级GPU,降低了硬件门槛。
缺点:
复杂提示理解有限
对复杂提示的语义理解仍有提升空间。
学习曲线
对于不熟悉ComfyUI的用户,可能需要一定时间学习。
分类标签:图像生成、AI工具、艺术创作、商业设计
“星绘”APP提供了一系列AI生图功能,允许用户创建AI分身并定制多样的分身效果。用户上传或拍摄三张头像照片后,APP会在数十分钟内生成一个基于用户形象的AI分身,并将其置于不同的虚拟世界中,如侏罗纪世界、雪地等,生成多张不同造型的AI照片。