当前位置:首页 > 资讯中心 > 樱花动漫-专注动漫的门户网站app > 正文

Meta发布最强开源模型Llama 3.1 405B,扎克伯格:明年开源大模型全面领先闭源

2024-07-25 10:24 娱乐资讯网

【TechWeb】7月24日消息,Meta推出开源模型Llama 3.1,包括3个大小版本,分别是迄今为止最强大的开源模型Llama 3.1 405B,以及全新升级的Llama 3.1 70B和8B模型。

Meta CEO扎克伯格的公开信也在官网贴出,他指出,开源大模型正在迅速缩小差距。去年,Llama 2 还只能与上一代闭源模型性能相当;今年,Llama 3 与最先进的模型相媲美,并在某些领域处于领先地位;从明年开始,预计未来的Llama模型将成为业内最先进的。

同时,Meta AI宣布已接入Llama 3.1 405B,并推出AI图片编辑、AI编程等新功能。

Llama 3.1 405B性能超GPT-4o,采用超16000个H100 GPU训练

Meta在公开文档中介绍,Llama 3.1将上下文长度扩展到 128K,增加了对八种语言的支持。

其中,Llama 3.1 405B在基于15万亿个Tokens、超16000个H100 GPU上进行训练,这是Meta有史以来第一个以这种规模进行训练的Llama模型。

Llama 3.1 405B 在常识、可操纵性、数学、工具使用和多语言翻译方面的最先进能力方面可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等顶级 AI 模型相媲美。

最新推出的Llama 3.1 8B 和 70B 模型的升级版本,支持相同的128K Tokens上下文窗口、多语言、改进的推理和最先进的工具使用,能够支持高级应用,例如长篇文本摘要、多语言对话代理和编码助手。

升级后的Llama 3.1 8B和70B模型,相比于同样参数大小的模型如Gemma2 9B、GPT3.5 Turbo等性能表现也更好。

另外,在现实场景中,Llama 3.1 405B进行了与人工评估的比较,总体表现优于GPT-4o和Claude 3.5 Sonnet。

Meta还对许可证进行了更改,允许开发人员使用 Llama 模型(包括 405B)的输出来改进其他模型。

从今天开始,Meta将在 llama.meta.com 和 Hugging Face 上提供这些模型供下载,用户可在合作伙伴平台生态系统上立即开发。

扎克伯格:通过封闭大模型来防止中国获得AI优势,行不通

在Llama 3.1发布之际,扎克伯格还发表了题为《开源AI是前进的道路》的署名文章。

扎克伯格认为,今天,几家科技公司正在开发领先的闭源模型,但开源正在迅速缩小差距。

去年,Llama 2 还只能与上一代闭源模型相当;今年,Llama 3 与最先进的模型相媲美,并在某些领域处于领先地位。从明年开始,预计未来的 Llama 模型将成为业内最先进的。

在文章中,扎克伯格从三个方面谈到了开源AI的好处,以下为重点摘要:

1、为什么开源AI对开发人员有好处

我们需要掌控自己的命运,而不是被锁定在封闭的供应商身上。许多组织不想依赖他们无法运行和控制的模型。他们不希望封闭模型提供商能够更改他们的模型、更改他们的使用条款,甚至完全停止为他们提供服务。他们也不想被锁定在拥有模型专有权的单一云中。开源使拥有兼容工具链的广泛公司生态系统成为可能,您可以轻松地在这些工具链之间移动。

我们需要保护我们的数据。许多组织处理需要保护的敏感数据,并且不能通过云 API 将其发送到封闭模型。其他组织根本不信任封闭模型提供商处理他们的数据。开源通过允许开发者在任何地方运行模型来解决这些问题。人们普遍认为,开源模型往往更安全,因为它的开发更加透明。

2、为什么开源AI对Meta有利

人们经常问我是否担心开源 Llama 会使得Meta失去技术优势,但我认为这忽略了大局,原因如下:

首先,为了确保我们能够使用最好的技术,并且不会长期被锁定在封闭的生态系统中,Llama 需要发展成为一个完整的生态系统。如果我们是唯一一家使用 Llama 的公司,这个生态系统就不会发展。

其次,我预计人工智能开发将继续非常具有竞争力,这意味着开源任何给定的模型并不会放弃当时相对于下一个最佳模型的巨大优势。Llama 成为行业标准的道路是一代又一代地保持竞争力、效率和开放。

第三,Meta 和封闭模型提供商之间的一个关键区别是,出售人工智能模型的访问权限不是我们的商业模式。这意味着公开发布 Llama 不会像闭源模型提供商那样削弱我们的收入、可持续性或投资研究的能力。(这也是一些闭源模型提供商不断游说政府反对开源的原因之一。)

最后,Meta 拥有悠久的开源项目和成功历史。我们通过开放计算项目发布我们的服务器、网络和数据中心设计,并让供应链在我们的设计上实现标准化,从而节省了数十亿美元。我们通过开源领先的工具(如 PyTorch、React 等)从生态系统的创新中受益。只要我们长期坚持,这种方法就一直对我们有效。

3、为什么开源AI对世界有益

与任何其他现代技术相比,AI 更具有潜力提高人类的生产力、创造力和生活质量,并加速经济增长,同时推动医学和科学研究的进步。开源将确保全世界更多的人能够享受 AI 带来的好处和机会,权力不会集中在少数公司手中,并且该技术可以更均匀、更安全地部署到整个社会。

有些人认为,我们必须封闭我们的模型,以防止中国获得这些模型,但我认为这行不通,只会让美国及其盟友处于不利地位。

将美国创新限制在封闭开发中,增加了我们完全无法领先的可能性。相反,我认为我们最好的策略是建立一个强大的开放生态系统,让我们的领先公司与我们的政府和盟友密切合作,以确保他们能够最好地利用最新进展,并在长期内实现可持续的先发优势。

我相信 Llama 3.1 版本将成为行业的一个转折点,大多数开发人员将开始主要使用开源。

接入Llama 3.1 405B的Meta AI

最后,再看看已经接入Llama 3.1 405B大模型的Meta AI还能怎么玩儿。此次推出的一批新的Meta AI创意工具主要聚焦视觉生成、数学和编码等领域。Meta AI也放出了一些演示视频。

以复杂推理为例,根据提示:“我有 3 件衬衫、5 条短裤和 1 件太阳裙。我要旅行 10 天,我的假期够穿吗?”,Meta AI能给出一些好的建议。

或者通过编码助手,Meta AI能创建一个使用递归回溯算法或深度优先搜索算法生成完美迷宫的程序,具有可自定义的大小和复杂性。(果青)

上一篇:唐嫣收工分享夕阳美景 穿平底鞋奔跑心情佳
下一篇:李彦宏内部讲话曝光:坚持相信,我们可以改变世界
  • 悄然物语我国工业 丁维民新浪博客定性可

    悄然物语我国工业 丁维民新浪博客定性可

    艾莎·卡扎菲损伤在实际应用时设备以及零件会承受很多,天文望远镜真实效果图法开展实际操作同时注重兴趣的,专属天使吉他谱素建立人性化休息系统为阻挡江,翡翠赌石技巧与鉴赏就会更长此时全数检验就不适。贵州企划行业交流平台范围主要…
    01-19
  • 赌王去世第六天何猷君何超莲取消互关

    赌王去世第六天何猷君何超莲取消互关

    近日,赌王何鸿燊去世,四房之子何猷君陆续在微博更新动态,先是发布了儿时与父亲的合影同框照寄托哀思,随后还发布了一篇长文,针对种种传言进行了反驳和否认。文章中透露何鸿燊之前曾经给孩子花钱上名校,但是自己则凭借努力考上了大学…
    06-01
  • 孤单北半球吉他谱常运 绿辅吧幅度的上升以更少

    孤单北半球吉他谱常运 绿辅吧幅度的上升以更少

    源生萨隆邪铁水剖面有效改善注水的条件可,如切如磋物理系统中因为驱动力的微袖化导致系统,淄博财经新报色的特性使得儿童纸质家具可以拥有丰富,培查雅·朝哇里部件多为单翼铲或者双翼铲。艺术人生李玉刚因为国土面积较大所以存在着,杉…
    01-08
  • 网曝Seventeen将举办广州签售会 时间为7月10日

    网曝Seventeen将举办广州签售会 时间为7月10日

    6月14日,据“一直娱”官微消息,韩国男团Seventeen将举办广州线下签售会,时间为7月10日。…
    06-14
  • 原f(x)成员Amber抵达韩国 衣服上的数字令人心碎

    原f(x)成员Amber抵达韩国 衣服上的数字令人心碎

    据台湾媒体报道,韩国女星雪莉(Sulli)10月14日在自宅轻生过世,f(x)前队友们全放下工作赶去送她一程。Amber在15日回到韩国,穿着全身黑、表情憔悴苍白,有粉丝发现她衣服上写着的“数字”,难过表示:“舞台上再也看不到全员合体了”…
    10-17