kaichen

大模型是个概率模型，你骂他，和他讲反例，只会把概率引导到更加不符合你需求的结果

另外，由于上下文有限，你聊越久前面的内容会遗忘，或者注意力大幅降低

#19 @shuimugan

gpt4 代码写很烂，只有 claude-3.5 才能写出大概正确的代码片段

我的观点是，现在民用本地设备，跑模型写代码这个事情非常不实惠，买个 cursor 20 刀一个月，是本地跑的 100x 效果

可以参考一下这个 aider 的排行榜，基本的算法题，

本地跑 72B 4bit 量化的要 40Gb 显存，也才能做答个 60 分

跑起来很快的 8B 小模型，就 30 多分，你用这个来写代码，就像教小学生写作业，得被气得半死

https://aider.chat/docs/leaderboards/

你买最新款的不就不是库存了么？比如 M4 的

去买官翻的 mac studio 有性价比

去闲鱼买 mac studio 更有性价比

其实你要的是内存，大部分时候用打不到性能的完全释放，另外 mac studio 的散热是能支持性能持续释放的，比本子和 mini 都好

@HomeZane 去 PDD 买贴纸贴上

大力出奇迹，几本书是不够，要很多很多。

参考，推理能力超过 gpt-3.5 的 Llama3

- https://ai.meta.com/blog/meta-llama-3/
- https://ai.meta.com/blog/meta-llama-3-1/

> Meta reports on Llama 3.1's page on Huggingface, using 39.3 million hours of H100 80GB instances to train all 3.1 models (8, 70, 400 B).

大概是，两万四千张 H100 训练 74 天

> Llama 3 is pretrained on over 15T tokens that were all collected from publicly available sources.

大概等同于 60TB 数据，在它的技术报告里，提到这是更大的数据集上做清洗去重的精华

---

所以先有这么多的资源才能训练得到高质量机器人

@drymonfidelia

有几个技巧，提升他写对的成功率。

最直接的，@Web ，要求他联网查询再回答。

遇到冷门的库，你可以把文档 URL 贴给他进行索引，然后 @ 索引的文档名字。具体在 cursor 设置里，可以添加文档，他也内置了一些流行的 py/js 库的文档。

某个改动有对应代码示例的网页，比如某篇博客，复制 URL ， @ 贴 link ，他会去扒拉这篇内容，作为参考。这种对于你用的某个库版本特别老或者特别新的时候，比较有用。

再大的项目，你日常开发也是会在项目管理层面切到比较小的范围。甚至一些需求改动的时候，你要做个小 demo poc 想法，那么这就回归到小项目了。

在比较小的范围，你改动某个函数实现，某个接口返回数据结构，或者某处界面，你框选，然后提具体的改动内容，比起你自己手动在那敲也是更高效的。

并且你本来就知道怎么实现的，那么让他先出个初稿，再改吧改吧，也比每个字自己敲快。