大型语言模型遇到编程时的编码器~代码智能的兴起(英译中)

Abstract

    　　大型语言模型的快速发展已彻底革新了软件开发中的代码智能。然而，主要依赖闭源模型限制了广泛的研究与开发。为解决这一问题，我们推出了DeepSeek-Coder系列开源代码模型，其规模从13亿到330亿不等，并从2万亿个标记中从头开始训练。这些模型预先在高质量的项目级代码语料库上进行训练，并采用16K窗口的填空任务来增强代码生成和填补。我们的广泛评估表明，DeepSeek-Coder不仅在多个基准测试中实现了开源代码模型的最佳性能，还超越了现有的闭源模型如Codex和GPT-3.5。此外，DeepSeek-Coder模型处于宽松的许可之下，允许同时进行研究和无限制的商业使用。