一、主要功能

1. 文本生成图像（T2I）

   支持中英文复杂文本渲染与自动布局，在信息密集型场景表现突出，可生成含多段文字、结构化布局的高清图像（如食谱指南、知识科普图、活动海报等）。

2. 图像生成图像（I2I）

   覆盖多元图像编辑需求，包括物体增减、背景替换、风格转换、身份保留生成、多主体一致性合成（如情侣照生成、跨图人物场景融合）等。

3. 高精度文字渲染

   针对中英文文本实现高准确率渲染，解决传统模型文字模糊、错漏、布局混乱的问题，在 CVTG-2K 等 benchmarks 中文字准确率达 0.9116，居开源模型首位。

4. 高分辨率与细节生成

   支持最高 2048×2048 分辨率输出，兼顾高保真纹理与细粒度细节，在美学表现、语义对齐上保持平衡，适配专业创作场景。

二、技术原理

1. 混合架构设计

   采用 “自回归生成器 + 扩散解码器” 双模块架构：9B 参数自回归模块基于 GLM-4-9B-0414 初始化，扩展视觉令牌词汇表，先生成 256 个紧凑编码令牌，再扩展至 1K-4K 令牌；7B 参数扩散解码器基于单流 DiT 架构，配备 Glyph Encoder 文本模块，强化文字渲染精度。

2. 解耦强化学习训练

   采用 GRPO 算法实现细粒度模块化反馈：自回归模块接收低频反馈信号，优化美学表现与语义对齐；解码器模块接收高频反馈信号，提升细节保真度与文本准确性。

3. 图文语义对齐机制

   通过 Siglip VQ 视觉编码、文本令牌投影、Glyph 嵌入融合，实现图文语义深度绑定，支持复杂指令的精准理解（如多区域布局、文本与图像元素的关联控制）。

4. 国产算力适配优化

   全流程基于国产 AI 芯片开发，深度适配昇腾架构，突破国外 GPU 依赖，实现多模态模型从训练到推理的国产化全链路跑通。

三、应用场景

1. 专业内容创作

   适用于海报设计、杂志排版、知识图谱可视化等场景，可快速生成含精准文字、结构化布局的专业级图像，降低设计门槛。

2. 营销与广告制作

   支持品牌风格定制、产品场景替换、多版本物料生成（如节日活动海报、产品说明书插图），提升营销内容产出效率。

3. 创意设计与艺术创作

   满足插画生成、风格迁移（如像素风、日式漫画风）、角色设计等需求，为设计师提供创意灵感与快速原型制作工具。

4. 教育培训内容生成

   可生成含口诀、步骤说明、分类标签的教学图像（如垃圾分类指南、实验步骤图解），辅助知识传递与记忆。

5. 个性化图像编辑

   支持日常图像优化，如背景替换、人物 / 物体增减、Q 版转换等，满足普通用户个性化创作需求。

四、使用方法

1. 环境准备

• 安装依赖：支持 transformers + diffusers 或 SGLang 两种 pipeline，需从源码安装对应库
  bash

  运行

  # transformers + diffusers 方式
  pip install git+https://github.com/huggingface/transformers.git
  pip install git+https://github.com/huggingface/diffusers.git
  # SGLang 方式
  pip install "sglang[diffusion] @ git+https://github.com/sgl-project/sglang.git#subdirectory=python"
  
• 硬件要求：单卡 80GB 以上显存或多 GPU 环境，推荐 H100 显卡以保障推理效率。

2. 文本生成图像（T2I）

import torch
from diffusers.pipelines.glm_image import GlmImagePipeline

pipe = GlmImagePipeline.from_pretrained("zai-org/GLM-Image", torch_dtype=torch.bfloat16, device_map="cuda")
prompt = "含精准文字的结构化食谱插图，奶油白与浅粉色为主色调"
image = pipe(
    prompt=prompt,
    height=32*32,  # 分辨率需为32的整数倍
    width=36*32,
    num_inference_steps=50,
    guidance_scale=1.5,
    generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]
image.save("output_t2i.png")

3. 图像生成图像（I2I）

import torch
from diffusers.pipelines.glm_image import GlmImagePipeline
from PIL import Image

pipe = GlmImagePipeline.from_pretrained("zai-org/GLM-Image", torch_dtype=torch.bfloat16, device_map="cuda")
image_path = "cond.jpg"  # 输入图像路径
prompt = "将雪地森林背景替换为带自动扶梯的地铁站"
image = Image.open(image_path).convert("RGB")
image = pipe(
    prompt=prompt,
    image=[image],  # 支持多图输入
    height=33*32,  # 必须指定高度（即使与输入一致）
    width=32*32,   # 必须指定宽度（即使与输入一致）
    num_inference_steps=50,
    guidance_scale=1.5,
    generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]
image.save("output_i2i.png")

4. 关键参数说明

• 分辨率：高度和宽度必须是 32 的整数倍，否则会报错。
• 采样参数：默认 do_sample=True、temperature=0.9、topp=0.75，温度越高多样性越强但稳定性可能下降。
• 提示词优化：推荐搭配 GLM-4.7 优化提示词，以提升图像质量。

五、适用人群

1. 专业设计师与内容创作者：用于快速生成结构化、含精准文字的设计物料，提升创作效率。
2. 企业营销与运营人员：批量制作品牌相关图像物料，适配多场景营销需求。
3. 开发者与研究人员：基于开源架构二次开发，或用于多模态模型、国产算力适配相关研究。
4. 教育培训工作者：生成教学辅助图像，优化知识传递效果。
5. 普通创意爱好者：通过简单指令实现个性化图像生成与编辑，无需专业设计技能。

六、优点

1. 自主创新架构：混合自回归 + 扩散解码器设计，在文字渲染、语义理解上大幅超越传统模型。
2. 国产算力适配：全球首个全流程基于国产 AI 芯片的多模态 SOTA 模型，摆脱国外 GPU 依赖。
3. 开源开放：完全开源可商用，支持二次开发与定制化优化，降低行业使用门槛。
4. 功能全面：同时支持 T2I 与 I2I 任务，覆盖生成、编辑、风格转换等多元需求。
5. 性能领先：在 CVTG-2K、LongText-Bench 等 benchmarks 中，文字渲染准确率居开源模型首位，综合性能对标国际主流闭源模型。

七、缺点

1. 硬件要求高：推理需 80GB 以上显存 GPU 或多 GPU 环境，普通用户难以企及。
2. 推理效率较低：当前架构优化有限，H100 显卡生成 1024×1024 图像需约 64 秒，批量生成场景适配性不足。
3. 长文本支持有限：虽优于传统模型，但超长篇文本（如段落级）的渲染布局仍有优化空间。
4. 部分场景适配不足：在极端风格化（如抽象艺术）、复杂动态场景生成上，表现不及专注该领域的细分模型。