Meta最强大模子 逾越 GPT-4o，扎克伯格再次挑起开闭源之争

界面消息 记者 | 伍洋宇

界面消息 编辑 | 宋佳楠

　　继OpenAI忽然 上线一款“小模子 ”GPT-4o mini之后，Meta决定抛出其超大参数的大模子 炸场。

　　7月24日，Meta发布了开源大模子 系列Llama 3.1 405B，以及升级后的70B和8B两个尺寸模子 。

　　Llama 3.1 405B被以为 是当前最强的开源大模子 。根据Meta公布的信息，该模子 上下文长度支持128K，增长 了对八种语言的支持，在通用知识、可操控性、数学、工具利用 和多语言翻译等方面可以或许 与GPT-4o和Claude 3.5 sonnet等旗舰模子 相媲美，乃至 在人工评估（Human Evaluation）的比力 中，其总体表现 比这两个模子 更好。

　　同时，8B和70B两个型号的升级版本也是多语言的，而且 都拓展到了128K上下文长度。

　　Llama 3.1 405B是Meta迄今为止最大的模子 。Meta表现 ，该模子 的练习 涉及高出 15万亿tokens，为了在公道 时间内到达 抱负 结果 ，团队优化了整个练习 堆栈，利用 了高出 16000个H100 GPU——这也是第一个在云云 大规模算力下完成练习 的Llama模子 。

　　这个艰巨 的练习 目标 被团队拆分为多个关键步调 。为了最洪流 平 包管 练习 稳固 性，Meta没有选择MoE架构（肴杂 专家架构），而是采取 了标准 仅解码器的Transformer模子 架构举行 小幅调解 。

　　据Meta先容 ，团队也利用 了迭代的后练习 过程，对每一轮举行 监督 微调和直接偏好优化，为每个回合创建最高质量的合成数据，以进步 每种本领 的性能。与此前版本的Llama相比，团队提拔 和改进了用于练习 前、后的数据数量 和质量。

　　在Llama 3.1 405B炸场的同时，马克·扎克伯格发表了一篇题为“开源AI是进步 的蹊径 ”的宣言，再次夸大 开源大模子 的意义与代价 ，剑锋直指OpenAI等走上闭源蹊径 的大模子 公司。

　　扎克伯格重提开源Linux与闭源Unix的故事，以为 前者支持更多功能和更广泛的生态体系 ，而且 是云盘算 和运行大多数移动装备 操纵 体系 的行业标准 底子 。“我信托 人工智能也会以雷同 的方式发展。”

　　他指出，几家科技公司在开辟 领先的闭源大模子 ，但开源大模子 正在敏捷 缩小这一差距。最直接的证据是，Llama 2此前只能与掉队 的老一代模子 相比，但Llama 3已经可与最新模子 相提并论，并在某些范畴 得到 领先。

　　他预计，从来岁 开始，Llama 3就能成为业内开始 辈 的模子 ——而在此之前，Llama已经在开放性、可修改性和本钱 服从 方面处于领先职位 。

　　扎克伯格引用了很多 来由 叙述 为什么这个天下 必要 开源模子 ，称对开辟 者而言，除了更透明的开辟 环境 以更好练习 、微调和提炼他们本身 的模子 ，另一个紧张 因素是“必要 一种既高效又负担得起的模式”。

　　他表明 道，对于面向用户和离线的推理任务 ，开辟 职员 可以在本身 的底子 办法 上运行Llama 3.1 405B，本钱 约莫 是GPT- 4o等闭源模子 的50%。

　　围绕开源、闭源两大蹊径 之争，此前业界已有过多番讨论，但当时 的重要 基调在于，两者各有代价 ，开源可以或许 以高性价比的方式惠及广大开辟 者，而且 有利于大语言模子 自身的技能 迭代与发展，而闭源可以或许 会合 资源更快、更深突破性能瓶颈，比开源更有望率先告竣 AGI（通用人工智能）。

　　换句话说，业界广泛 以为 ，在模子 的性能程度 上，开源很难追上闭源。而Llama 3.1 405B的出现大概 会让行业重新思考 这一结论，很大概 将影响一大批已经倾向于利用 闭源模子 服务的企业和开辟 者群体。

　　如今 ，Meta的生态圈已经非常巨大 。Llama 3.1模子 上线后，高出 25个相助 搭档 将提供相干 服务，包罗 亚马逊AWS、英伟达、Databricks、Groq、戴尔、微软Azure和谷歌云等。

　　只是扎克伯格对于Llama系列模子 处于领先职位 的预期是来岁 ，不打扫 中心 有再被闭源模子 掀翻屋顶的大概 。在此期间，外界大概 会纷纷关注到那些性能程度 赶不上Llama 3.1 405B的闭源大模子 ，它们当前的处境简直 有些尴尬。

　　他还特别 谈及中国与美国在大模子 范畴 的竞争，以为 美国在这方面永久 领先中国数年是不实际 的。但纵然 是几个月的微小领先，也会随着时间的推移而“聚沙成塔 ”，从而使美国得到 “显着 上风 ”。

　　“美国的上风 是去中心 化和开放式创新。有些人以为 ，我们必须封闭我们的模式，以防止中国得到 这些模式，但我以为 这行不通，只会让美国及其盟友处于倒霉 职位 。”在扎克伯格看来，一个只有封闭模式的天下 ，会导致少数大公司和地缘政治对手可以或许 得到 领先的模式，而初创公司、大学和小企业则错失机遇 。别的 ，将美国创新限定 在封闭开辟 中，增长 了完全无法领先的大概 性。

　　“相反，我以为 我们最好的战略 是创建 一个强大 的开放生态体系 ，让我们的领先公司与当局 和盟友密切相助 ，以确保他们可以或许 最好地利用 最新盼望 ，并在长期 内实现可连续 的先发上风 。”扎克伯格表现 。