Matrix-3D 是一个开源工具，能够从单张图片或文本提示生成大规模可探索的 3D 场景，支持全景视频生成和 3D 场景重建，具有高可控性和强大的泛化能力。
一、主要功能
1. 大规模场景生成 Matrix-3D 支持生成更广阔、更扩展的场景，允许用户进行完整的 360 度自由探索，相比现有的场景生成方法，其生成的场景范围更广。
2. 高可控性 Matrix-3D 支持文本和图片输入，用户可以根据需要自定义轨迹，具有无限的可扩展性。
3. 强泛化能力 基于自研的 3D 数据和视频模型先验，Matrix-3D 能够生成多样化且高质量的 3D 场景。
4. 速度与质量平衡 Matrix-3D 提出了两种全景 3D 重建方法，分别用于快速和详细的 3D 重建，用户可以根据需求选择适合的方法。
二、技术原理
1. 全景表示 Matrix-3D 使用全景表示来生成宽覆盖的全方位可探索 3D 世界，结合了条件视频生成和全景 3D 重建技术。
2. 文本到全景图像 用户可以通过输入文本提示生成全景图像，例如输入“中世纪村庄，半木结构房屋，鹅卵石街道，郁郁葱葱的绿色植物，晴朗的蓝天，详细纹理，鲜艳色彩，高分辨率”，Matrix-3D 能够根据这些描述生成对应的全景图像。
3. 图像到全景图像 用户也可以输入一张图片，Matrix-3D 会将其转换为全景图像，从而为后续的全景视频生成和 3D 场景重建提供基础。
4. 全景视频生成 从生成的全景图像出发，Matrix-3D 可以生成全景视频，支持多种运动模式，如直线旅行、S 形曲线旅行和向右前进等。
5. 3D 场景重建 Matrix-3D 提供了两种 3D 场景重建方法：优化型重建和前馈型重建。优化型重建通过优化算法生成高质量的 3D 场景，而前馈型重建则更注重效率，能够在较短时间内生成 3D 场景。
三、应用场景
1. 游戏开发 Matrix-3D 可以用于生成游戏中的虚拟世界，通过输入文本描述或图片，快速生成大规模的游戏场景，减少游戏开发中的场景设计工作量。
2. 虚拟现实（VR） 在 VR 应用中，Matrix-3D 可以生成沉浸式的 3D 场景，用户可以在虚拟环境中自由探索，增强用户体验。
3. 建筑可视化 Matrix-3D 可以根据建筑设计图纸或文本描述生成建筑场景的全景图像和 3D 模型，帮助设计师更好地展示建筑效果。
4. 教育与培训 Matrix-3D 可以用于创建虚拟的教学环境，例如历史场景重现、地理环境模拟等，帮助学生更好地理解和学习相关知识。
四、使用方法
1. 环境搭建
-
克隆 Matrix-3D 仓库并创建环境：
git clone --recursive https://github.com/SkyworkAI/Matrix-3D.git cd Matrix-3D conda create -n matrix3d python=3.10 conda activate matrix3d pip3 install torch==2.7.1 torchvision==0.22.1 chmod +x install.sh ./install.sh
2. 下载预训练模型
-
运行以下命令下载预训练模型：
python scripts/download_checkpoints.py
3. 生成 3D 场景
-
生成全景图像
-
从文本生成全景图像：
python code/panoramic_image_generation.py \ --mode=t2p \ --prompt="a medieval village, half-timbered houses, cobblestone streets, lush greenery, clear blue sky, detailed textures, vibrant colors, high resolution" \ --output_path="./output/example1" -
从图片生成全景图像：
python code/panoramic_image_generation.py \ --mode=i2p \ --input_image_path="./data/image1.jpg" \ --output_path="./output/example1"
-
-
生成全景视频
VISIBLE_GPU_NUM=1 torchrun --nproc_per_node ${VISIBLE_GPU_NUM} code/panoramic_image_to_video.py \ --inout_dir="./output/example1" \ --resolution=720 -
提取 3D 场景
-
优化型重建：
python code/panoramic_video_to_3DScene.py \ --inout_dir="./output/example1" \ --resolution=720 -
前馈型重建：
python code/panoramic_video_480p_to_3DScene_lrm.py \ --video_path="./data/case1/sample_video.mp4" \ --pose_path='./data/case1/sample_cam.json' \ --out_path='./output/example2'
-
五、适用人群
1. 游戏开发者 Matrix-3D 可以帮助游戏开发者快速生成游戏场景，提高开发效率。
2. 虚拟现实开发者 Matrix-3D 生成的全景 3D 场景可以直接应用于 VR 应用，为用户提供沉浸式体验。
3. 建筑设计师 Matrix-3D 可以用于建筑可视化，帮助设计师快速生成建筑场景的 3D 模型。
4. 教育工作者 Matrix-3D 可以用于创建虚拟教学环境，丰富教学内容。
5. 人工智能研究人员 Matrix-3D 提供了一个强大的平台，用于研究 3D 场景生成和重建技术。
六、优缺点介绍
优点
-
高可控性：支持文本和图片输入，用户可以根据需要自定义轨迹和场景细节。
-
强大的泛化能力：能够生成多样化且高质量的 3D 场景。
-
速度与质量平衡：提供了优化型和前馈型两种 3D 重建方法，用户可以根据需求选择。
-
开源性：用户可以根据需要对代码进行修改和扩展，具有很高的灵活性。
缺点
-
技术门槛较高：需要一定的编程基础和对 3D 生成技术的理解。
-
计算资源需求大：生成全景视频和 3D 场景需要较高的计算资源，尤其是 GPU 资源。
-
数据准备复杂：用户需要准备高质量的输入数据，如文本描述或图片，以获得更好的生成效果。
分类标签：人工智能、3D 场景生成、虚拟现实、游戏开发、建筑可视化
CogVLM2-Video是一个专注于视频理解的模型，它利用了大型语言模型和多模态对齐技术，以实现在开放领域中对视频内容的深入理解。该模型通过自动化的时间定位数据构建方法，生成了30k与时间相关的视频问答数据，并通过这些数据训练出了新的视频理解模型。