继百川-7B之后，王小川旗下的百川智能近日再次发布了百川-13B的大模型。
据介绍，百川-13B是百川智能继百川-7B之后研发的开源、可商用的130亿参数大规模语言模型，在权威的中英文基准测试中取得了同规模的最好成绩。本次发布包括两个版本:预训练(百川-13 b-基础)和对齐(百川-13 b-聊天)。
百川-13B具有以下特点:更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿，并且在高质量的语料上训练了1.4万亿 tokens，超过 LLaMA-13B40%，是当前开源13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为4096。同时开源预训练和对齐模型:预训练模型是适用开发者的『 基座 』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。更高效的推理:为了支持更广大用户的使用，我们本次同时开源了 int8和 int4的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia3090这样的消费级显卡上。开源免费可商用:Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。【拥抱脸】
预培训模型:
