因为不了解 LLM 本质,也刚摸索 Agent 小半年,我感觉:
无限的知识挖掘与总结 x 无限的自动化工程优化 x 无限学习、计划、执行、总结 LOOP ,
然后其中夹在一些你身为“老父亲”直觉性大道理。
我觉得它真能永动搞出点啥名堂……
当然,它受限于互联网知识是肯定的,大家怎么看?
因为不了解 LLM 本质,也刚摸索 Agent 小半年,我感觉:
无限的知识挖掘与总结 x 无限的自动化工程优化 x 无限学习、计划、执行、总结 LOOP ,
然后其中夹在一些你身为“老父亲”直觉性大道理。
我觉得它真能永动搞出点啥名堂……
当然,它受限于互联网知识是肯定的,大家怎么看?
看不少朋友说瓶颈在于 Agent 记忆,以及上下文有限。
我想了想,人类神经上下文也许并不见得就有多高。
反而,除了突破大规模上下文,还有个突破口也许是 [高效的记忆串联] ,以及 [高效的瞬时记忆碎片重塑] 。
也就是相对优秀的 Harness ,或者我认为已经不该叫Harness,暂且取个名叫: [Heuristic System] 。
记忆存储本身无非是海量数据,这一点 SSD 和内存运行本身不是问题。
但优秀的架构,还是有很高的上限以及个性。
1
inyfee 12h 33m ago 感觉目前的瓶颈就是记忆系统。各家也都在搞。
|
2
wsseo 12h 30m ago
我觉得八字还没一撇
|
3
Ulduar 12h 23m ago 我觉得上下文管理还很初级
除非能出一个系统 自动全局设计架构 自动开 subAgent 自动注入合适的上下文去完成子模块 |
5
nc 12h 8m ago 在 Anthropic 工作就能体验到 AGI ,Mythos 不限 token 随便用,claude -p 可以玩出很多花样,比如 Bun 的重构。
|
7
ntdll 11h 37m ago 现在限制 AI 的,其实不是 token 有限,而是上下文有限和注意力有限,compact 也好,记忆系统也罢,本质上就是给不够用的上下文擦屁股,而简单的增加上下文会快速的拉爆显存,导致边际效用递减。
也就是说,如果有朝一日,能解决不大幅提升成本的情况下,大幅提高上下文大小(且注意力不分散),这就算一个大的里程碑了。 |
8
sillydaddy 11h 14m ago 目前已有的理解能力,再加上缺失的持续学习,就是 AGI 了。持续学习是 AGI 缺失的一块拼图。
持续学习的关键是什么呢? LLM 的上下文已经够大了,但是把上下文当做记忆,总感觉不太对劲。 LLM 的一整个权重,可以看作是一个具大的无状态的函数,类似于函数式编程中的纯函数,里面完全没有任何状态,我们知道,纯函数编程的一个别扭之处是,它的效率很低——最近我用 Cavalry 这个动效制作软件就深有体会,它是纯函数,没有状态,相比之下,Origami Studio 就可以保有状态,后者要比前者方便不少——LLM 把所有的状态,都存放在上下文里面。这种函数与状态分离的模式,会不会就是它效率很低的原因呢?不知道,只是瞎猜的。 |
9
cnrting 11h 2m ago via iPhone
更像是编程助手和网页分析总结工具
|
10
vone 11h 1m ago
国内部分模型通过蒸馏 Anthropic 和 OpenAI 的模型提升性能,但是其模型性能只能逼近 Anthropic 和 OpenAI 但很难超越。
同理,可推断出如果目前的技术路线只是对人类知识的蒸馏,那他应该永远无法达到 AGI 。 |
11
FreshOldMan 10h 28m ago
@nc #5 这么牛,你在 Anthropic ??
|
12
lucifer9 6h 38m ago via iPhone
就冲你发的这个节点
就说明你内心其实还是不认为是 agi 的 |