·山姆·奥特曼表示,新的进步不会来自于让模型变得更大,“我认为我们正处于巨型模型时代的末尾”。他的说法表明,GPT-4可能是OpenAI“使模型更大并为其提供更多数据”战略中的最后一个重大进展。
(资料图片)
人工智能开发机构OpenAI的首席执行官山姆·奥特曼最近表示,ChatGPT的研究策略——巨型AI模型模式已经结束,目前尚不清楚未来的进步究竟来自何处。
近年来,OpenAI通过采用现有的机器学习算法并将其扩展到以前无法想象的规模,取得了一系列令人印象深刻的进步。GPT-4是其推出的最新模型,可能使用了数万亿个文本单词和数千个强大的计算机芯片训练,整个过程耗资超过1亿美元。
奥特曼上周在麻省理工学院举行的一次活动中告诉观众,新的进步不会来自于让模型变得更大。“我认为我们正处于巨型模型时代的末尾。”他说,“我们会以其他方式让它们变得更好。”
科技媒体《连线》4月17日报道称,奥特曼的声明表明,在开发和部署新AI算法的竞赛中出现了意想不到的转折。未来人工智能的进步将需要新的想法。
自OpenAI于去年11月推出ChatGPT以来,微软利用底层技术为其必应搜索引擎添加了聊天机器人,而谷歌则推出了聊天机器人Bard。与此同时,包括Anthropic、AI21、Cohere和Character.AI在内的众多资金充足的初创公司正在投入大量资源来构建更大的算法,以努力赶上OpenAI的技术。在中国,大批企业争相公布大模型产品,试图尽快挤入这个赛道。
奥特曼的声明表明,GPT-4可能是OpenAI“使模型更大并为其提供更多数据”战略中的最后一个重大进展。他没有提出什么样的研究策略或技术可能会取代它。在描述GPT-4的论文中,OpenAI估计,扩大模型规模的收益在递减。奥特曼表示,企业可以建造的数据中心数量和建造速度也存在物理限制。
Cohere的联合创始人尼克·弗罗斯特(Nick Frosst)表示,奥特曼的想法听起来是对的。他也认为,Transformer(GPT-4及其竞争对手的核心机器学习模型类型)的进展超出了扩展范围。“有很多方法可以让Transformer变得更好、更有用,而且很多方法不涉及向模型添加参数。”他说,新的AI模型设计或架构,以及基于人类反馈的进一步调整是许多研究人员已经在探索的有前途的方向。
在ChatGPT首次亮相后,技术专家推测GPT-4出现时将成为规模和复杂性令人眩晕的典范。然而,当OpenAI最终宣布GPT-4时,并没有透露它的参数规模有多大——也许是因为规模不再是最重要的。在麻省理工学院的活动上,奥特曼被问及训练GPT-4是否花费了1亿美元,他回答说:“不止于此。”
在这个活动中,奥特曼也证实OpenAI目前没有训练GPT-5。他在回应呼吁暂停更高级AI训练的公开信时表示, “这封信的早期版本声称OpenAI目前正在训练GPT-5。我们没有,而且一段时间内不会。”
作者:方晓来源:澎湃新闻
近日,淮北矿业控股股份有限公司(以下简称淮北矿业)以视频录播、网络文字互动的形式,成功在上证路演中心举办企业2022年度业绩说明会。更多
2023-04-18 11:15:244月14日,河南能源在机关中心会议室召开一季度经济运行分析会议。会议指出,今年以来,河南能源新领导班子团结带领广大干部职工奋力实现了更多
2023-04-18 11:04:41从中国煤炭工业协会了解到,越来越多的高端智能化装备与技术已经转化成为我国煤矿的先进生产力。 中国煤炭工业协会提供的数据显示,201更多
2023-04-18 10:01:49为贯彻落实中央大兴调查研究的要求,4月12日、14日自然资源部分别召开座谈会,听取油气企业、中央管理地勘单位以及地矿领域院士专家关于组更多
2023-04-18 10:03:26目前,全国已有370余处矿井应用了巡检、喷浆、钻锚、灭火、救援等共计31种煤矿机器人。机器人领域的精准控制、定位导航、机器视觉、自主决更多
2023-04-18 10:07:533月份,规模以上工业主要能源产品生产均保持同比增长。与1—2月份比,原煤、天然气生产有所放缓,原油、电力生产加快。 一、原煤、原油更多
2023-04-18 10:01:12上周市场情况综述 产地方面,上周市场氛围延续低迷表现,受前期产地外购价格下调影响,晋陕蒙整体价格小幅下行。 供应端仍在较高水更多
2023-04-18 10:05:51淮北矿业在其日前举行的业绩发布会上表示,2022年公司实现营业收入69062亿元,同比增加552%;归母净利润7010亿元,同比增加4283%。 同更多
2023-04-18 08:54:39华阳股份近日发布了2022年年报,2022年,公司实现营业收入35042亿元,同比下降786%;归属于上市公司股东的净利润7026亿元,同比增长9895%更多
2023-04-18 09:10:40湖南省应急管理厅、省财政厅、国家矿山安全监察局湖南局近日联合下发通知,湖南省将充分利用新一代信息技术,给矿山装上AI智能识别等高科更多
2023-04-18 09:15:45