V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  neteroster  ›  全部回复第 1 页 / 共 39 页
回复总数  765
1  2  3  4  5  6  7  8  9  10 ... 39  
跑 memtest ,大概率内存本身就有问题
4 天前
回复了 atao777 创建的主题 计算机 diy 主机: itx 值得选择吗?
能不装不装,ITX 箱子装起来非常麻烦,没注意很容易这儿冲突那冲突,安装操作起来也很困难。如果实在要装也建议考虑大点的紧凑机箱,比如闪鳞 G300/400/500 这种 10-20L 的,硬件兼容性也会好很多。

最近装了台 G300 + ITX 板 + ATX 电源 + 4070 ,这个大小的机箱都不怎么好处理了。另外装极限小机箱或者紧凑机箱可以考虑 MoDT CPU ,7945HX 或者 Intel 对位的,能效比好很多,紧凑机箱散热比较紧张,散热多给显卡留些。
7 天前
回复了 klo424 创建的主题 Local LLM 求 DeepSeekR1 性价比硬件推荐
只有 671B 是“真正的” R1 ,其他蒸馏版本都没有跑过本体的训练管线,其实不能叫 R1
MathJax / KaTeX

\( ... \) 和 \[ ... \] 也是 LaTeX 的标准公式语法。mathjax / katex 都可以配置分界符正确渲染它们。
13 天前
回复了 mingtdlb 创建的主题 问与答 AI 有和没有深度思考 联网搜索区别?
deepseek r1 和 openai o* 的所谓深度思考是强化学习训练得到的思维链,已经被证明能够大幅提高数学和复杂推理的能力,其他领域的泛化能力有待进一步观察。

联网要看具体实现方法,一般来说对事实性问答以及时效性消息问答会有显著提升。不过也有可能受不可靠消息源误导。
24 天前
回复了 zhuwd 创建的主题 NVIDIA NVLink 对显卡集群的影响有多大?
1. 都用这些设备了不用 sglang 跑去用 ollama 这种干啥
2. 没多大并发占用当然不会高,bs=1 decode 是显存带宽瓶颈。
> 数据和状态变更喂给大模型,作为增量训练数据更新大模型来实现

持续学习某种程度上是机器学习和 LLM 领域的“圣杯”,目前研究距离这个目标还远的很。除去成本因素还有一些更本质的问题,例如[灾难性遗忘]( https://arxiv.org/abs/2308.08747)。

另外,目前的大模型没法直接从预训练文本泛化到各种任务,例如通用 QA 。例如你预训练代码库,不做其他处理的情况下模型根本没法回答/检索关于这个代码库的问题。这些都是要靠数据管线做的,甚至还需要很多“智能工人”。
因为模型能在语言间泛化,不仅包括人类语言,也包括编程语言。而且训练多种语言之后可以承担很多跨语言任务。

#7 > LLM 翻译虽然很通顺但不准确,以前用 GPT 翻译经常把意思改了

当前 SOTA 模型在常见语言互译上已经可以做到相当高的精度,特别是在上下文充足的情况下,已经不是传统的翻译模型可以企及的了。
Together 和 Fireworks.ai
还有一个比较便宜的不过我没试过 https://studio.nebius.ai/playground?models=deepseek-ai%2FDeepSeek-R1
@sworld233 R1 蒸馏的 Qwen 7B 是拿 Math 版本的,所以一般任务有点一言难尽。14B 和 32B 才是普通的版本蒸馏出来的。

---

楼上说的 Gemma2 9B 就可以,然后还有 GLM4 9B ,Qwen 2.5 7B 也还可以。
R1 确实很猛,带思考的大模型做这种题只会越来越强,毕竟:结果可验证 + R1 指明了强化学习在推理 LLM 上的有效性,这俩一结合就能预估这种算法竞赛未来的 LLM 能打过所有人类就是和 alpha go 打败人类棋手一样自然的事情。

虽说如此,实际应用场景复杂得多,还要在 Agent 、超长记忆、持续学习这几个领域有所进步才行,现在的技术这几个方面是明显薄弱的。很期待未来的发展。
@neteroster #1 CosyVoice 也支持,没记清楚
1  2  3  4  5  6  7  8  9  10 ... 39  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5766 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 49ms · UTC 01:54 · PVG 09:54 · LAX 18:54 · JFK 21:54
Developed with CodeLauncher
♥ Do have faith in what you're doing.