Pixtral 12B 发布：Mistral开源首个多模态AI大模型

科技媒体 TechCrunch 昨日（9 月 11 日）报道，法国 AI 初创公司 Mistral 发布 Pixtral 12B，是该公司首款能够同时处理图像和文本的多模态 AI大语音模型。

Pixtral 12B 模型拥有 120 亿参数，大小约为 24GB，参数大致对应于模型的解题能力，拥有更多参数的模型通常比参数较少的模型表现更优。

Pixtral 12B 模型基于文本模型 Nemo 12B 构建，能够回答关于任意数量、任意尺寸图像的问题。

与 Anthropic 的 Claude 系列和 OpenAI 的 GPT-4o 等其他多模态模型类似，Pixtral 12B 理论上应能执行诸如为图像添加描述和统计照片中物体数量等任务。

用户可以下载、微调 Pixtral 12B 模型，并能依据 Apache 2.0 许可证使用。

Mistral 开发者关系负责人 Sophia Yang 在 X 平台的一篇帖子中表示，Pixtral 12B 很快将在 Mistral 的聊天机器人和 API 服务平台 Le Chat 及 Le Plateforme 上开放测试。

在技术规格上，Pixtral12B同样令人印象深刻:40层网络结构、14，336个隐藏维度、32个注意力头，以及400M的专用视觉编码器，支持处理1024x1024分辨率的图像。

在MMMU、Mathvista、ChartQA、DocVQA等平台上，它的成绩超越了包括Phi-3和Qwen-27B在内的多个知名多模态模型，充分证明了其强劲的实力。

huggingface地址:

https://huggingface.co/mistral-community/pixtral-12b-240910

相关内容：