该方法通过强化学习直接对模型进行微调，无需人类反馈，使模型能够做出决策。RL4VLM的研究成果已在GitHub开源，论文预印本也已上线。

香港大学与百度联合发布了首个智慧城市大模型 UrbanGPT，该模型在时空预测技术领域引发了重大突破。

AnimateAnyone是一个基于人工智能的角色动画生成工具，可以将静态图像转化为动态视频，实现角色的动画化。

ViViD 是一个创新的视频虚拟试穿框架，它利用扩散模型技术，结合服装编码器和姿态编码器，为用户提供逼真的视频试穿体验。

ScrapeGraphAI 结合了大型语言模型（LLM）和直接图逻辑，为用户提供了一种高效的方法，用于构建针对网站、文档和XML文件的爬虫流水线。用户只需指定所需的信息类型，ScrapeGraphAI 就能自动完成数据抓取任务。

PCM在图像处理方面有着更快更稳定的表现。PCM针对LCM的问题进行了改进，扩展了模型的应用范围，提高了图像和动画生成的质量。对于动画制作者来说，PCM的优化意味着节省后期处理时间，加快制作流程。未来在扩散模型领域有望迎来更多创新和突破。

EditWorld 是由北京大学、Tiamat AI、天工AI和Mila实验室联合开发的一个图像编辑项目。该项目的核心目标是模拟真实世界动态，以实现基于指令的图像编辑。通过引入世界指令（world-instructed）图像编辑，EditWorld 能够根据用户提供的指令，对图像进行精确的编辑和调整。

让我们在llm.c （约 4,000 行 C/CUDA）中重现GPT-2（124M），耗时 90 分钟，费用为 20 美元。

SignLLM 是全球首个多语种手语视频生成模型，能够将文本或语音指令实时转化为手语视频，为听障人士提供沟通新方式。

Open-Sora是一个由hpcaitech开源的类Sora架构视频生成模型，它基于Diffusion Transformer（DiT）架构，旨在通过文本描述生成高质量的视频内容。该项目涵盖了整个视频生成模型的训练过程，包括数据处理、训练细节和模型检查点，供对文生视频模型感兴趣的人免费学习和使用。

llama3-Chinese-chat是一个开源项目，旨在将强大的llama3模型引入中文世界，使机器能够理解和生成高质量的中文对话。该项目由名为“CrazyBoyM”的开发者主导，通过整合优化后的中文版本模型和一系列教程、资源、工具，为开发者和使用者提供了便利。

3DGen-Arena是由复旦大学和上海AI lab的研究人员开发的一个3D生成模型的人工评测竞技场。它旨在提供一个公开、匿名的平台，让用户对不同的3D生成模型进行比较和评价。

该研究介绍了针对大型语言模型的无偏水印技术，表明可以添加水印而不影响生成文本的质量。研究提供了一个无偏水印的理论框架，确保输出不受水印的影响。这种方法为负责任的人工智能开发讨论提供了一个追踪和归因模型输出的方法，而不会牺牲质量。

通过改进注意力机制，DCFormer相比Transformer性能提升1.7-2倍。在相同训练数据和算力下，用DCFormer改进后的69亿参数模型效果超过120亿参数模型。

该研究由来自 UT Austin 和 UC Berkeley 的研究者共同完成，提出了一种新颖的扩散模型框架。

Chameleon 是由 Meta 的 FAIR（Facebook AI 研究）团队开发的突破性 AI 模型，可无缝集成文本和图像处理。与单独处理文本和图像的传统模型不同，Chameleon 从一开始就将它们一起处理，在理解和生成混合模式内容方面提供了前所未有的能力。这篇综合文章深入探讨了 Chameleon 的独特功能、创新训练技术及其在各种任务中的出色表现。

MiniCPM-V 是一系列端侧多模态大型语言模型（MLLMs），专为视觉-语言理解设计。该模型以图像和文本为输入，提供高质量的文本输出。

CogVLM2是一个强大的视觉大模型，由THUDM（清华大学自然语言处理实验室）开发，具有出色的视觉和语言理解能力。

FIFO-Diffusion是一种基于预训练扩散模型的新型推理技术，用于无需训练即可从文本生成无限长的视频。

Phi-3-vision-128k-instruct是Phi-3家族中的第一个多模态模型，拥有4.2B参数，支持128K的上下文长度。该模型结合了语言和视觉处理能力，能够在多种设备上高效地处理和响应图像及文本数据。

PaliGemma是Google开发的一款开源视觉语言模型，旨在处理与图像相关的文本生成任务，如图像描述、问答和目标分割等。

Hunyuan-DiT 是腾讯开源的一款强大的多分辨率扩散变换器（Diffusion Transformer），具备精细的中文理解能力。该模型旨在探索文本到图像的生成，支持中英文双语输入，并能够进行多轮对话式图像生成。

PuLID是一个新兴的ID保持项目，致力于提升ID保持效果并最小化对原始模型的影响。其核心优势包括高度一致性、多功能性、高保真度、稳定性和准确性，应用广泛。

一种通过生成模型学习材料，规范优化过程的方法，以提高在未知静态照明条件下拍摄的姿势图像中恢复物体材质的准确性。

VILA是由Efficient-Large-Model组织在GitHub上开源的一个视觉语言模型（Visual Language Model）。它是英伟达发布的一个模型，通过大规模的图像-文本数据进行预训练，从而实现了视频理解和多图像理解能力。

ComfyUI-IC-Light是ComfyUI的原生插件，用于实现IC-Light技术。该技术允许用户通过一系列工作流程生成背景和重新打光，从而增强图像的视觉效果。它的重要性在于能够提供更自然和逼真的图像处理结果，尤其适用于需要高级图像编辑功能的用户。

Siri-Ultra是一个基于云的智能助手，可以在Cloudflare Workers上运行，并且可以与任何大型语言模型（LLM）配合使用。它利用了LLaMA 3模型，并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri，从而消除了对专用硬件设备的需求。

一个本地且开源的CharacterAI替代工具，提供了一个用户友好的界面，允许用户在桌面上与虚拟角色互动。你可以自定义创建各种角色，让每个虚拟角色都有自己的独特个性和语言风格。

。该方法通过多模态注意力机制，将视频和文本特征进行融合，并利用多语言翻译模型将不同语言的文本特征进行转换，从而实现跨语言的视频-文本检索。实验结果表明，该方法在多语言视频-文本检索任务上取得了较好的效果。

MuseV是一个基于扩散模型的虚拟人视频生成框架，它能够以无限长度和高保真度生成满足视觉条件的视频。

SadTalker:学习现实的3D运动系数风格化音频驱动的单图像说话的脸动画。

MiraData 是一个具有长时长和结构化字幕 的大规模视频数据集。它专为长视频生成任务而设计。

通义实验室研发的 AI 模型 ——EMO 正式上线通义 App，并开放给所有用户免费使用。借助这一功能，用户可以在歌曲、热梗、表情包中任选一款模板，然后通过上传一张肖像照片就能让 EMO 合成演戏唱歌视频。

VideoCrafter2 是由腾讯优图实验室开源的视频生成工具，基于 Stable Diffusion 模型，支持文本转视频、图像转视频、视频编辑等功能。

Open-Sora 是由北京大学元组智能研究组开发的开源视频生成工具，基于 Stable Diffusion 模型，支持文本转视频、图像转视频、视频编辑等功能。

一种新的视频超分辨率（VSR）模型，旨在生成具有高频细节和时间一致性的视频。

来自Meta的研究人员推出了SceneScript，只需要70M参数，仅采用编码器解码器架构，就能将真实世界的场景转化为几何表示。

AI 编码辅助工具，旨在通过提供上下文感知的代码补全和聊天辅助来提升开发者的工作效率。它集成到了流行的集成开发环境（IDE）中，并原生构建在 GitHub 平台上。

Lobe是一个低代码AI模型创建平台，旨在让用户通过微调预训练模型来创建自定义AI模型。

TeleChat 是由中电信人工智能科技有限公司研发训练的大语言模型，提供了7B和12B两个版本的模型，以及它们的量化版本。该模型基于大量的中英文高质量语料进行训练，具备多种语言理解和生成能力。

Inpaint-web主要支持两项功能:图片局部清除和将模糊的图片变成高分辨率清晰图片。

一体式大规模多语言和多模式机器翻译模型，可为近 100 种语言的语音和文本提供高质量翻译。

AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。

一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话，支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。

VideoCrafter2是一个视频生成AI模型,能够根据文本描述生成高质量、流畅的视频。它通过克服数据局限,实现了高质量视频生成的目标。该模型可以生成照片级质量的视频,支持精细的运动控制和概念组合。用户只需要提供文本描述,VideoCrafter2就可以自动生成剧本级别的视频作品,可用于视频创作、动画制作等领域。

MagicEdit明确地解开了外观和运动的学习，以实现高保真和时间连贯的视频编辑。它支持各种编辑应用程序，包括视频风格化、本地编辑、视频MagicMix 和视频绘制。

MagicAvatar是一个多模式框架，能够将各种输入模式（文本、视频和音频）转换为运动信号，随后生成动画。