当前位置:   article > 正文

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型_codestral

codestral

对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作:首个代码大模型 Codestral 诞生了。

图片

作为一个专为代码生成任务设计的开放式生成 AI 模型,Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语,因而可为软件开发人员设计高级 AI 应用。

Codestral 的参数规模为 22B,遵循新的 Mistral AI Non-Production License,可以用于研究和测试目的,但禁止商用。

图片

目前,该模型可以在 HuggingFace 上下载。

图片

Mistral AI 联合创始人、首席科学家 Guillaume Lample 表示,Codestral 可以很轻松集成到 VS Code 插件中。

图片

有用户将 Codestral 与 GPT-4o 进行了比较,Codestral 速度直接秒了 GPT-4o。

图片

精通 80 + 编程语言

Codestral 在包含了 80 + 种编程语言的多样化数据集上训练,包括 Python、Java、C、C++、JavaScript、Bash 等流行编程语言。此外也在 Swift 和 Fortran 等编程语言上表现良好。

因此,广泛的语言基础确保 Codestral 可以在各种编码环境和项目中为开发人员提供帮助。

Codestral 可以胜任编写代码、 编写测试并使用中间填充(fill-in-the-middle)机制补全任何代码部分,为开发人员节省时间和精力。同时使用 Codestral,还有助于提高开发人员的编码水平,降低错误和 bug 风险。

代码生成性能新标准

作为一个 22B 参数的模型,Codestral 与以往的代码大模型相比,在代码生成性能和延迟空间方面树立了新标准。

从下图 1 可以看到,Codestral 的上下文窗口长度为 32k,竞品 CodeLlama 70B 为 4k、DeepSeek Coder 33B 为 16k、Llama 3 70B 为 8k。结果显示,在代码生成远程评估基准 RepoBench 上,Codestral 的表现优于其他模型。

图片

Mistral AI 还将 Codestral 与现有的特定于代码的模型进行了比较,后者需要较高的硬件需求。

在 Python 上的表现。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基准来评估 Codestral 的 Python 代码生成能力;除此以外,研究者还用到了 CruxEval、RepoBench EM 基准评估。

在 SQL 上的表现。为了评估 Codestral 在 SQL 中的性能,研究者使用了 Spider 基准测试。

在其他编程语言上的表现。研究者还在其他六种编程语言(包括 C++、bash、Java、PHP、Typescript 和 C#)中对 Codestral 进行了评估,并计算了这些评估的平均值。

图片

FIM 基准。研究者还评估了 Codestral 在代码片段中间有缺失的情况下补全代码的能力,主要是在 Python、JavaScript 和 Java 上进行实验,结果显示,Codestral 补全的代码,用户可以立即运行。

图片

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

资源分享

图片

大模型AGI学习包

图片

图片

资料目录

  1. 成长路线图&学习规划
  2. 配套视频教程
  3. 实战LLM
  4. 人工智能比赛资料
  5. AI人工智能必读书单
  6. 面试题合集

人工智能\大模型入门学习大礼包》,可以扫描下方二维码免费领取

1.成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

图片

2.视频教程

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,其中一共有21个章节,每个章节都是当前板块的精华浓缩

图片

3.LLM

大家最喜欢也是最关心的LLM(大语言模型)

图片

人工智能\大模型入门学习大礼包》,可以扫描下方二维码免费领取

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/944048
推荐阅读
相关标签
  

闽ICP备14008679号