La Plateforme

我们的首批 AI 端点已开放抢先体验。

产品
2023年12月11日Mistral AI 团队

Mistral AI 为开发者带来最强大的开源生成模型,以及高效的部署和定制方法,助力生产应用。

我们今天开放了首批平台服务的 Beta 版访问。我们从基础开始:la plateforme 提供三个聊天端点用于根据文本指令生成文本,以及一个嵌入端点。每个端点在性能/价格上都有不同的权衡。

生成端点

前两个端点 mistral-tiny 和 mistral-small 目前使用我们发布的两个开源模型;第三个端点 mistral-medium 使用性能更高的原型模型,我们正在部署环境中对其进行测试。

我们提供经过指令微调的模型版本。我们致力于整合最有效的对齐技术(高效微调、直接偏好优化),以创建易于控制且用户体验良好的模型。我们在从开放网络提取的数据上预训练模型,并从标注数据进行指令微调。

Mistral-tiny。我们最具成本效益的端点目前提供 Mistral 7B Instruct v0.2,这是 Mistral 7B Instruct 的一个新小版本。Mistral-tiny 仅支持英语。它在 MT-Bench 上得分为 7.6。经过指令微调的模型可在此处下载。

Mistral-small。此端点目前提供我们最新的模型 Mixtral 8x7B,在我们的博客文章中有更详细的描述。它精通英语/法语/意大利语/德语/西班牙语和代码,在 MT-Bench 上得分为 8.3。

Mistral-medium。我们最高质量的端点目前提供一个原型模型,根据标准基准测试,该模型目前处于可用服务模型的顶尖行列。它精通英语/法语/意大利语/德语/西班牙语和代码,在 MT-Bench 上得分为 8.6。下表比较了 Mistral-medium、Mistral-small 的基础模型与竞争对手端点的性能。

mistral-medium

嵌入端点

Mistral-embed,我们的嵌入端点,提供一个具有 1024 维嵌入的嵌入模型。我们的嵌入模型在设计时考虑了检索能力。它在 MTEB 上取得了 55.26 的检索分数。

API 规范

我们的 API 遵循由我们最亲爱的竞争对手最初提出的流行聊天界面规范。我们提供 Python 和 Javascript 客户端库来查询我们的端点。我们的端点允许用户提供系统提示,以便在模型输出上设置更高级别的审核,这对于某些应用来说是一项重要要求。

从 Beta 版访问逐步过渡到正式发布

从今天起,随着我们逐步提升容量,任何人都可以注册使用我们的 API。我们的业务团队可以帮助您确定需求并加快访问。在我们努力使平台达到完全自助服务可用性的过程中,预计会出现一些不够完善的地方。

致谢

我们感谢 NVIDIA 在集成 TensorRT-LLM 和 Triton 方面给予我们的支持,并与我们共同努力使稀疏专家混合模型与 TRT-LLM 兼容。