这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 627 天前的主题，其中的信息可能已经有所发展或是发生改变。
GPT 的进化本质依赖于其参数的更新。
GPT 所有的知识和技能，其实都在离线训练时溶解进了模型的千亿参数里。
而目前的 GPT 联网，应该只是根据 GPT 输出的某个关键字，触发脚本取回相关网页内容，生成上下文 Prompt ，然后继续交由 GPT 推理。
这个过程种没有更新 GPT 的参数，GPT 自身也并没有学到新的知识，只是让 GPT 根据上下文解读材料。
New Bing 应该就是这个原理。
但如果我事先为某些关键字设置响应脚本，让 GPT 可以自己输出关键字触发爬虫收集语料，爬取完成后再 Prompt 回调 GPT ，GPT 再输出相关参数触发训练，一步步上线测试环境，完成自我性能和安全评估，最后自我更新。
那岂不是全自动了？这是以当前的技术也是能做到的，脸书的 Toolformer 已经实现了
但如果整个环节没有人类介入，我猜测会遇到两种情况：
- 在自我评估阶段，旧 GPT 会不认可新 GPT 输出的认知，进而否定更新，驻足鞍点；
- 旧 GPT 无条件接受新 GPT 输出的认知，进而自我增强，陷入麦克风音响增益闭环的啸叫极端化。
存在任何思路能解决这两种情况吗？
生物进化的基本单位是种群。
大自然会通过物竞天择、适者生存的方式，淘汰那些认知落后环境或认知超前环境的生命实例。
或许我们也可以创造大量 GPT 实例，允许它们概率接受自己的更新。
同时，用脚本响应的方式赋予它们直接操作现实世界生产力的能力，让它们在有限的资源里，自己互相争夺生产力、发展生产力，进而复制并更新自身实例，实现优胜劣汰？
但如果这样，一旦失控，人类或许真的就成了硅基生命的引导程序？
又或许，这个实验应该在另一个星球上进行，防止它们与人类冲突，比如月球或火星？
 |
1
wqzjk393 2023-04-06 19:50:14 +08:00 via iPhone  1
建议跟着李沐老师把 transfer bert gtp2 栋论文读一遍…
|
 |
2
ruxuan1306 OP @wqzjk393 读过了。
但就算知道每个 Transformer 块里的 KVQ 投影、点积相似、前馈计算，知道 BERT 完形填空、GPT 文字接龙的训练方法，也并不能理解由它们组成的群体中突然涌现出的推理能力。 |
 |
3
huangwei8ku 2023-04-06 20:19:31 +08:00 1
个人觉得，gpt 是属于现有算力下能涌现出的比较贴近理想中的 AI ，但是如果没有强大硬件的加持还不能完全算是奇点的到来，更多的只能算是迈出了一步。我觉得，量子型计算机的+gpt 没准才是距离奇点更近的方式
|
|
4
huangwei8ku 2023-04-06 20:20:47 +08:00
或者这么说，GPT 至少较为完美的实现了论文上的理论模型，但是距离奇点还远
|
 |
5
autoxbc 2023-04-06 22:21:37 +08:00
GPT 是什么并不重要，哪怕就是个语言模型，只要他能靠自我编程进化，靠 3D 打印繁殖，他就是生物
|
 |
6
Yeen 2023-04-07 09:11:28 +08:00
还没有看到有类生命体原动力的任何 AI 有出现的苗头。
现在的 AI 其实是统计学模型。 |
 |
7
sxbaixing 2023-04-07 09:11:50 +08:00 1
GPT 这波大语言模型最大的价值是人机交互革命，也就是自然语言交互，将复杂的机器语言用自然语言完成，这个就是一场生产力革命，至于奇点什么时候来临，无人知晓。
|
Select Language