蚂蚁集团正式开源 CodeFuse 代码大模型

在今日的外滩大会分论坛上，蚂蚁集团正式开源代码大模型 CodeFuse。

据介绍，这是蚂蚁自研的代码生成专属大模型，可以根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。

CodeFuse 基于蚂蚁基础大模型研发，现已上架 Hugging Face：https://huggingface.co/codefuse-ai。

本次开源的内容包括：

1. MFT（多任务微调）框架，也称为MFTcoder；
2. 两个用于增强LLMs编码能力的数据集，包括Code Exercise和Evol-Instruction；
3. 基于FasterTransformer的更快速、更可靠的部署框架;。

由此产生的模型集合包括CodeFuse-13B和CodeFuse-CodeLlama-34B，支持多种与代码相关的任务，如代码补全、文本转代码、单元测试生成等。

值得一提的是，CodeFuse-CodeLlama-34B基于CodeLlama作为基础模型，并利用上述MFT框架进行微调，在HumanEval Python pass@1评估中取得高达的74.4%（贪婪解码）的好成绩，甚至超过了GPT-4（67%）的表现。

官方介绍称，CodeFuse的使命是开发专门设计用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、编码、测试、部署、运维等关键阶段。