sentinelK's recent timeline updates
@kop1989 @kop1989smurf
三转
May 31, 2023
我本将心向明月,奈何明月照沟渠。
May 30, 2023
sentinelK

sentinelK

V2EX member #631792, joined on 2023-05-30 20:41:02 +08:00
Today's activity rank 2337
kop1989的三转小号
sentinelK's recent replies
6h 50m ago
Replied to a topic by AIgogo 随想 AI 大模型的能力边界越发清晰
@ZX16815 但现实就是,因为 LLM 的不透明性,导致普遍的头部供应商都“无良”。

一个商业逻辑不成立的领域,讨论其理想情况如何如何,在我看来是没有实际意义的。
7h 41m ago
Replied to a topic by AIgogo 随想 AI 大模型的能力边界越发清晰
“知道了工具怎么用,然后探索把工具用起来和用好。 那么人类本能对未知的神秘感和焦虑感也就自然消除”

不会的。
因为目前 LLM 的模式对于消费者而言是全黑盒模式。消费者唯一只知道,调用了某个公司的一个 API 服务。

数据输入输出是否被污染?不知道。
数据究竟被什么模型加工?不知道。
究竟收费多少钱?不知道。
我的数据会被如何对待?不知道。
未来 LLM 公司是否会因为利益、政策等原因断供、修改条款?不知道。
模型的输出能力是否稳定?不知道。

在以上都完全未知的前提之下,谈“工具属性越来越清晰”,是纯扯淡。

你家的锤子不会今天你凿完三颗钉子,明天管你要 100 美元的。
也不会今天你凿完三颗钉子,明天告诉你你凿的钉子太多,锤子受不了,要么折价退款,要么每天只能凿一颗。
更不会今天凿完钉子,明天变成塑料玩具。
mlx 的 qwen3.6-35B-A3B 试试看
btw:

如果只是想了解 Agent 的理念,我觉得这个视频的信息量已经够了: https://www.bilibili.com/video/BV1dpQTB3EXg?spm_id_from=333.788.videopod.sections&vd_source=0ef6494d0ac82c1df8c1a6cc5e8ef08c
@newtype0092 是的,毕竟 LLM 的本质就是统计学概率续写。各种工程化只是在利用目前 LLM 模型算法的甜点,争取能够提升最终答案落在全局最佳的比例。

而且 Agent 底层理念就在于,我承担返工的风险,烧更多的 token ,但是要一次性(或者说非人工干预下)成功。

高效利用 token 的理念则恰恰相反。
对了,还忘了一点,到了生产力阶段,家庭用显卡就不现实了。

因为生产力显卡的噪音非常大。
@stimw 个人场景最大的优势是不会暴露隐私。而且有去掉拒绝模块的模型可用(可以忽略道德、法律、伦理等因素)。
在显存够用的前提下,显卡的解码能力远大于统一内存方案(不管是 GB10 、AMD MAX+395 ,还是 mac )
反之,统一内存方案更容易达到更大的内存级别(能跑更大参数的模型)


所以,如果你要跑快,只能选显卡。
如果你要选能用,可扩展性,尝试更多模型,只能选统一内存。(为了大参数换显卡,基本上你整台 PC 也都要换)
Trae 的工程化就是有点问题。

可以用 claude code (可以切自定义的 API ,只要支持 anthropic 格式)或者 openCode 再试试。

vscode 还有 Cline 等其他的第三方工程化插件可以实践。
因为 LLM 的工程实践有个自证陷阱。

你没法证明你的 Agent 流程,或者说工程化产品相比裸模型/竞品是更优、更有效的。
所有人都在吹自己对于 LLM 落地的思路有多么高大上。但聊到实际产出又都阳痿了,因为他们没法对实际产出负责。

但是有一些思想还是有一定的启发作用。

比如任务拆分,利用的就是 LLM 对于复杂度 1*N 的任务执行效果比复杂度 N 的效果好的特性。
比如多 Agent 互相监督,利用的是 LLM 注意力机制有限的限制,通过多个 LLM 推理进程左右互搏来实现更好的效果。


剩下的一些纯 marketing 角度的概念,笑笑就好。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5104 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 09:46 · PVG 17:46 · LAX 02:46 · JFK 05:46
♥ Do have faith in what you're doing.