混元DiT是腾讯最新开源的文生图ai模型,采用了与Sora、Stable Diffusion 3相同的DiT(Diffusion With Transformer)架构,支持中英文双语输入及理解。能理解中文和英文,还能抓住语言中的细微差别,如语境、句式复杂性等。还支持通过多轮对话与模型互动,逐步细化和调整图像内容。混元DiT支持生成不同分辨率的图像。
混元DiT填补了中文原生DiT文生图架构的缺失,有助于更多的开发者和创作者参与进来,一起探索、共创基于DiT架构的视觉生成。此外,混元DiT还被描述为首个中文原生的DiT架构,支持中英文双语输入及理解,参数量达到15亿。
混元DiT的功能与优化:
支持中英双语文本生成:混元DiT特别设计以处理中英双语文本,能够根据详细的文本提示生成高分辨率、高质量的图像。
长文本理解能力:在算法层面上,混元DiT优化了模型的长文本理解能力,支持最多256字符的内容输入,同时实现了多轮生图和对话能力,以达到更满意的效果。
多模态视觉生成:混元DiT不仅可以用于文生图,还能作为视频等多模态视觉生成的基础,这表明其具备强大的视觉生成能力。
网络架构创新:采用了创新的网络架构,结合了双语CLIP和多语言T5编码器,通过精心设计的数据管道进行训练和优化,支持多轮对话,能够根据上下文生成并完善图像。
开源与商用:混元DiT全面开源,并允许免费商用,这为用户提供了更多的灵活性和使用场景。
技术融合:混元DiT融合了扩散模型和Transformer架构的优势,提供了强大的视觉生成能力,这种架构不仅可以用于文生图,还能用作视频和其他多模态视觉内容。
混元DiT应用领域:
文生图像生成:混元DiT模型特别设计用于处理中英双语文本,并能根据详细的文本提示生成高分辨率、高质量的图像。
视频和3D内容生成:混元DiT不仅可支持文生图,也可作为视频等多模态视觉生成的基础。
内部业务接入:超过180个腾讯内部业务已接入腾讯混元,包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。
中文原生支持:混元DiT是业界最早探索并应用大语言模型结合DiT结构的文生图模型之一,支持中英文双语输入及理解,参数量15亿。
多轮对话和完善图像:混元DiT能够与用户进行多轮对话,根据上下文生成并完善图像。
腾讯混元DiT项目地址:https://github.com/Tencent/HunyuanDiT
腾讯混元DiT项目官网:https://dit.hunyuan.tencent.com/