大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
2023-05-30
大语言模型中的涌现现象是不是伪科学？
2023-05-30 22:38:56来源：程序员客栈
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
[ 相关文章 ]
每日热闻!主力复盘：AI延续强势 16亿封板浪潮信息
今日(5月30日)大盘全天探底回升，三大指数盘中一度均跌超1%随后集体反弹翻红，创业板指领涨，两市超2800只
2023-05-30
江西省共培育出18家国家服务型制造示范企业 环球热讯
中新网九江5月30日电(记者吴鹏泉)截至2022年，中部省份江西共培育出18家国家服务型制造示范企业(包括示范企
2023-05-30
大冶“爱心爹爹”再次捐资18万元资助286名学子
极目新闻记者梁传松通讯员梁坚义家境贫寒却品学兼优，5月30日，大冶一中高三（三）班学生胡伟收到了一笔200
2023-05-30
爆炒八爪鱼需要焯水吗_爆炒八爪鱼
你们好，最近小活发现有诸多的小伙伴们对于爆炒八爪鱼需要焯水吗，爆炒八爪鱼这个问题都颇为感兴趣的，今天
2023-05-30
当前最新：八百余位海外客户齐聚柳州体验中国“智造”
5月28日至5月30日，第三届柳工5 28全球客户节暨新品发布会举行。
2023-05-30
全员社牛？OPL好像有那个宣发牛逼症，细数电竞泥石流行为 天天热闻
以往最多让选手们演演垃圾话互动，但今年春季赛OPL觉醒了奇怪的血脉，开发新栏目“笑到神京”，每周一条小
2023-05-30
三大产业分类提出者（三大产业分类）
今天小编岚岚来为大家解答以上的问题。三大产业分类提出者，三大产业分类相信很多小伙伴还不知道,现在让我
2023-05-30
高能低耗易部署，爱芯元智AX650N成Transformer最佳落地平台
作者：爱芯元智近来，ChatGPT成为社会各界关注的焦点。从技术领域看，ChatGPT的爆发是深度学习领域演进、发
2023-05-30
网购技巧与经验分享（网购技巧）
来为大家解答以上问题，网购技巧与经验分享，网购技巧很多人还不知道，现在让我们一起来看看吧！1、尖峰条
2023-05-30
推销洽谈的策略有哪些方面（推销洽谈的策略）_焦点速讯
想必现在有很多小伙伴对于推销洽谈的策略方面的知识都比较想要了解，那么今天小好小编就为大家收集了一些关
2023-05-30
环球速递！雅阁和帕萨特怎么选家用（雅阁和帕萨特怎么选？）
雅阁(参数|询价)和帕萨特(参数|询价)对比：尺寸方面：雅阁的长宽高分别为4893mm、1862mm、1449mm，轴距
2023-05-30
生态环境保护营商竞争力综合指数发布 福州首次进入全国前十
日前，中国环境报社、清华苏州环境创新研究院与成都大学联合发布了《2023中国城市生态环境保护营商竞争力指
2023-05-30
ie临时文件夹怎么更改路径（ie临时文件夹）
来为大家解答以上问题，ie临时文件夹怎么更改路径，ie临时文件夹很多人还不知道，现在让我们一起来看看吧！
2023-05-30
鸿博股份4涨停
鸿博股份4涨停
2023-05-30
圆满成功！
据中国载人航天工程办公室消息，北京时间2023年5月30日9时31分，搭载神舟十六号载人飞船的长征二号F遥十六
2023-05-30
erogames中文官网（games的中文意思是什么）_今日看点
每日小编都会为大家带来一些知识类的文章，那么为大家带来的是games的中文意思是什么方面的消息知识，那么
2023-05-30
砌砖的方法有几种_全球观速讯
在建房时砌砖的方法是非常关键的，而是砖砌体的砌筑方法有很多种，那么砌砖的方法有几种?
2023-05-30
平陆运河全线首仓结构混凝土顺利浇筑-环球消息
西部陆海新通道骨干工程——平陆运河全线首仓结构混凝土顺利浇筑中新网钦州5月30日电（黄达琨华宇晖）5月29
2023-05-30
农业银行：7月起将对个人长期不动存折账户开展清理
上证报中国证券网5月29号最新报道：农业银行在其官网发布了最新的公告，表示农业银行将会从2023年的7月起对
2023-05-30
[ 相关新闻 ]
- 天天精选！66名车手竞逐2023年粤港澳大湾区摩托车大赛
- 退休后医保个人账户还会每个月打钱吗 详细情况如下|环球热推荐
- 播报：怀特：没能达成赛季初目标 但我仍喜欢更衣室的那帮家伙们
- 天天速看：电饭煲之所以能够分辨出米饭有没有煮好
- 环球热文：小小少年，“弓腰”上学为哪般？小学生“大书包”现象透视
- 2023年小暑的经典祝福语短句大全-全球速读
- 云南局专题会议：煤矿超限报警处置再“加码” 当前热讯
- 大运倒计时丨“我们准备好了！” 成都大运会志愿服务进入冲刺阶段_天天观点
- 世界视点！重庆开展形式多样民法典宣传月活动
- 5月29日基金净值：博时汇兴回报一年持有期混合最新净值0.7229，涨0.28%|天天速递
- 天天观热点：中国农业银行：这类银行卡将被清理！
- 中牧股份：5月29日融资买入823.97万元，融资融券余额2.42亿元 世界消息
- 肠癌晚期扩散还能活多久_肠癌晚期还能活多久 世界快看点
- 川宁生物(301301.SZ)：未来硫酸铵的制备技术我们正在做攻关
- 全球今热点：科技感满满！千名“机甲大师”“战长沙”
- Win7系统网上邻居在哪（win7怎么打开网上邻居）|前沿热点
- 全球观察：天苍苍野茫茫是什么歌_是谁创作的
- 聊城公交“快6”路大站快车专线开通 全程节省20分钟
- 中金所：扎实推进金融期货市场高质量发展，更好服务全面注册制改革
- 关于秋天的诗句有哪些_关于秋天的诗句
