一次经由率73％，开源代码大模子WizardCoder逾越最新GPT-Juliet Harold网

当前位置：首页 > 时尚 > 一次经由率73％，开源代码大模子WizardCoder逾越最新GPT 正文

一次经由率73％，开源代码大模子WizardCoder逾越最新GPT

时间：2024-11-09 10:23:30 来源：Juliet Harold网作者：娱乐阅读：472次

在开源这件事上，次经Meta 不愧是由率源代逾业界知己。

这多少天，％开代码大模子规模又凋敝了起来！码大模

先是最新 Meta 开源代码专用大模子 Code Llama，且收费商用。次经下场也颇为宜，由率源代逾Code Llama 在 HumanEval 以及 MBPP 代码数据集上的％开一次天生经由率（pass@1）轻松逾越 GPT-3.5 ，其中「Unnatural」版本的码大模 pass@1 迫近了原始 GPT-4（OpenAI 在往年 3 月 GPT-4 技术陈说中的数据）。

Code Llama 宣告仅一天，最新来自 Phind 机关的次经钻研职员用微调的 Code Llama-34B 在 HumanEval 评估中击败了 GPT-4。他们的由率源代逾两个模子 Phind-CodeLlama-34B-v1 以及 Phind-CodeLlama-34B-Python-v1 在 HumanEval 分说实现 67.6% 以及 69.5% 的 pass@1，显明都逾越了原始 GPT-4 的％开 67%。

不外，码大模仅仅又过了一天，最新Phind 微调版 Code Llama 又迎来了一个单薄的对于手。这次是 WizardLM 团队的编程专用大模子 WizardCoder 。

该团队推出了基于 Code Llama 的最新版本模子 WizardCoder 34B ，它运用 Evol-Instruct 妨碍微调而成。

服从展现，它在 HumanEval 上的 pass@1 抵达了惊人的 73.2%，逾越了原始 GPT-四、ChatGPT-3.5 以及 Claude 二、Bard。此外，WizardCoder 13B 以及 7B 版本也将很快到来。

GitHub 地址：https://github.com/nlpxucan/WizardLM/tree/main/WizardCoder
Huggingface：https://huggingface.co/WizardLM/WizardCoder-Python-34B-V1.0

这次详细版本是 WizardCoder-Python-34B-V1.0 ，下图是与主流闭源以及开源模子的 HumanEval pass@1 比力。除了最新 API 的 GPT-4（该团队测试后患上到的服从是 82.0%），该模子逾越了所有闭源以及开源模子，搜罗最新 API 的 ChatGPT（72.5%）以及原始 GPT-4（67%）。