V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  lchynn  ›  全部回复第 1 页 / 共 11 页
回复总数  214
1  2  3  4  5  6  7  8  9  10 ... 11  
@nidongpinyinme #63 你大模型是跑 10B 以下的还是 70B, 110B 这种的? 如果是后 2 者, 你就是量化 Q4 ,你这个显卡也推理起来够呛, 如果是只有几个 B 的,比如 GEMMA, PHI3 这种的。 拿 AMD 8845 或者 INTEL ULTRA 核显都推理的飞快。 如果你要微调大模型( SFT )? 我觉得消费级显卡,基本没啥关系吧, 哪怕你买了 4090 ,也够呛。
@ospider #64 , 你这个还不如直接用 BASE64 得了, 起码转换工具导出都有啊, 拿八卦的 UNICODE 区段字符代替 BASE 64 ,看的眼睛都花了。
不如另一个 EMOJI-AES 的项目, https://aghorler.github.io/emoji-aes/
31 天前
回复了 AIInception 创建的主题 OpenAI 智谱 AI 发布 Batch API
折算下来每 M Token 要 50 元。
性价比并不好, 不如 混元和 deepseek , 就是对比 moonshot ,minimax 等也算贵的。
大部分 RAG 场景, 并不需要很高的推理能力。只有编程和复杂任务规划智能体才需要接近 GPT4 水平的 GLM4 ;
而 GLM3 能力又和弱智的文心一眼 ERINE 3 差不多。
33 天前
回复了 hendry 创建的主题 OpenAI plus 的 GPT4 诗词歌赋胡说八道
讲道理, 问中文文言和诗词常识,真的不如百度文心、通义千问、GLM4 。二线的 KIMI, 天宫,豆包什么都可以。

GPT4 的强项是在代码生成,指令遵循,复杂任务理解上。 你让一个大学毕业的程序员和突击过古诗文大赛提纲的的小学生比谁能背的诗词多,肯定程序员输啊。
37 天前
回复了 hendry 创建的主题 OpenAI ChatGPT 4o 免费玄学,如下图所示
测试大模型所训练数据的时间节点,可以问新闻大事;
比如俄罗斯何时入侵乌克兰,可以筛选掉 2022 年 2 月之前训练数据的大模型;
比如日本什么时候确定正式排放福岛核废水,可以筛选掉 2023 年 Q3 之后训练的大模型;
以此类推,建议使用英语询问。 对于国内大模型,关掉互联网搜索能力,可能测出实际训练数据的时间。
45 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@mkdirmushroom 有没有试一下 Code-Qwen 或者 Deepseek Code ? 谢谢, 如果速度可以, 感觉可以代替 Copilot 了
45 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
8845HS 的 NPU 好像说 FP16 (half) 的算力是 16 TFLOPS ; 估计是瞎吹吧。
3060 12G 的 FP16 (half) 才 12.74 TFLOPS
45 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@wxd21020 8848HS 的 NPU 好像说 FP16 是 TFLOPS ; 估计是瞎吹吧。
3060 12G 的 FP16 (half) 才 12.74 TFLOPS
46 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@mkdirmushroom 买了 GEM12 了么? OLLAMA 或者 LM-STUDIO 推理 7B 的 gguf 模型咋样? 有测试结果么?
@xJogger 谢谢, 那看来日常够用了。不知道综合能力对比 Qwen1.5 7B 如何。
@xJogger 3060 跑 LLAMA3-8B, 平均每秒多少 token 生成速度啊?谢谢,想了解下性能? OLLAMA /SET VERBOSE 麻烦测一下看看?
51 天前
回复了 ze00ro 创建的主题 买买买 现在买电脑合适吗? 等更强大的 AI 电脑?
有评测么? 8845HS 或者 INTEL ULTRA5/7 , 跑 lmstudio.ai 或者 ollama 的 llama3-8B 或 Qwen1.5-7B ; 推理速度大概一秒多少 token ?一般要求不高的, 上述 2 个模型写写车轱辘文,做做翻译,家用足够了
53 天前
回复了 jack778 创建的主题 OpenAI gpt4 越来越不行了
@drymonfidelia #4 ;

用中文测试一下, 国内大模型能通过的只有 KIMICHAT, GLM 4, 文心一言, 其他国产大模型都翻车了。
换成英语询问 :I have 3 apples today, I ate 1 apple yesterday, how many apples do I have left? 通义千问可以通过;

国外模型, 能通过的只有 GPT4 , GPT4-TURBO ,LLAMA3-80B, CLAUDE3-OPUS, CLAUDE3-SONNET, MIXTRAL 7X8, GEMMA 7B ; PHI2-MINI

国内开源模型只有 QWEN 70B ; DEEPSEEK-LM 33B
其他全部翻车。
@june4 可能方便把表数据导出为 CSV 或者 SQL 。
另外这个原站和最近热门的秘塔 AI 和 perplexity 对比下,好像搜索来自的信源有些差别?
@gydi 代替需要科学上网的 rss 的啊,新闻网站或者 blog
楼主这服务好像可以代替穷人版免费科学上网 :P
1  2  3  4  5  6  7  8  9  10 ... 11  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   929 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 20:11 · PVG 04:11 · LAX 13:11 · JFK 16:11
Developed with CodeLauncher
♥ Do have faith in what you're doing.