关闭广告

小扎官宣Code Llama重量级更新,新增70B版本,但还有能力限制

机器之心Pro8884人阅读



机器之心报道

编辑:蛋酱、陈萍

功能更强大的 Code Llama 70B 模型来了。

今天,Meta 正式发布 Code Llama 70B,这是 Code Llama 系列有史以来最大、性能最好的型号。



我们正在开源一个全新的改进版 Code Llama,包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明,编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪,并期待着将这些进展纳入 Llama 3 和未来的模型中。

Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本:

  • CodeLlama - 70B,基础代码模型;
  • CodeLlama - 70B - Python,专门面向 Python 的 70B;
  • Code Llama - 70B - Instruct 70B,它针对理解自然语言指令进行了微调。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具,免费用于研究和商业用途。

据 Meta AI 博客文章的介绍,Code Llama 70B 可比其他版本处理更多查询,这意味着开发人员可以在编程时向其提供更多提示,并且可以更加准确。

在 HumanEval 基准测试中,Code Llama 70B 的准确率达到了 53%,优于 GPT-3.5 的 48.1%,进一步接近 OpenAI 论文报告中 GPT-4 的 67%。



Code Llama 基于 Llama 2 构建,可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初,Meta 表示,Code Llama 的开源协议与 Llama 2 一样,免费用于研究以及商用目的,Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本,参数量分别为 7B、13B 和 34B。并且支持多种编程语言,包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括:

  • Code Llama,基础代码模型;
  • Code Llama-Python,Python 微调版;
  • Code Llama-Instruct,自然语言指令微调版。

其中,后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B,在代码任务上又提升了一个台阶。



Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成,托管在代码存储库 Hugging Face 上。

Meta 表示,其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中,Code Llama 70B 仍然存在明显不足。

比如有人发现,对于生成质数的请求,Code Llama 70B 无法完成:







也有人说,这一限制是为了避免某些不好的用途,比如生成非法质数。非法质数可以被用来表示一些禁止拥有或散布的资料,而依照美国的数位千禧年著作权法,散布这类程式是非法的。



参考链接:https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

巩俐红毯上气场全开的秘诀 竟是泰勒“玩剩的”?

想法 浏览 13189

曼城胜国米,《每日邮报》截图今日意大利三大体育报头版

直播吧 浏览 12885

夏天最流行的4双凉鞋 配裙子绝美

LinkFashion 浏览 12181

林正英、钱小豪在拍摄《僵尸先生》时,有几场戏是在台湾取景

趣看热点 浏览 24562

四大煤炭:中国神华、兖矿能源、陕西煤业、中煤能源,含金量谁高

长风价值掘金 浏览 7334

中国可重复使用试验航天器着陆 在轨飞行276天

每日经济新闻 浏览 15461

冬天不一定要穿黑色!看看这些“色彩感”穿搭

静儿时尚达人 浏览 9075

火锅店女子劝阻领桌男子不要吸烟,当场被泼不明液体

趣看热点 浏览 1214989

33岁任县委书记 "85后"清华博士王波再履新职

上观新闻 浏览 74174

裁判双标?任骏飞明显垫脚裁判毫无表示 周琦53秒造天津5次犯规

颜小白的篮球梦 浏览 8916

章子怡带儿子现身阿那亚游玩 获大老板陪同排场大

柒佰娱 浏览 10833

20万级纯电SUV,该选飞凡R7还是小鹏G6?

1号车盟 浏览 8983

看来看去,还是“微宽松版型”更适合大众

男士穿衣搭配杂志 浏览 11822

运满满冷运完成B轮数亿元融资 平台冷藏车注册量超27万

网易科技报道 浏览 12478

夏天爱出脚汗的人,穿什么鞋上班才不尴尬?(优雅男士篇)

YOKA网 浏览 7391

ESPN大规模裁员 范甘迪等多位资深媒体人毕业 美网友声讨帕金斯

直播吧 浏览 11571

4000万的印度寡妇,只能算半个人

她刊 浏览 8859

清洁工躺车库通道午睡被碾身亡 司机无罪后获国家赔偿

澎湃新闻 浏览 67386

零跑不是小米,胜似小米

路咖汽车 浏览 9080

重磅!这项业务试点正式上线

中国基金报 浏览 15195

2023年夏季越看越爱的流行妆容!

猫姐品衣有道 浏览 13016
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1