coldfannn

V2EX 第 319536 号会员，加入于 2018-05-30 12:43:00 +08:00

今日活跃度排名 13132

coldfannn 最近回复了

1 天前

回复了 cnhongwei 创建的主题 › 程序员 › 各位 AI 大佬，请教一下私有化部署 AI 模型的问题?

先别急着花钱，现在私有部署模型几乎是傻瓜式的，可以搜一下 ollama 部署，模型的話视图就先选择 qwen3-vl ，6b-8b 规格正常你的电脑主机有块像样的独显基本就可以看效果了
根据识别速度和精度，对比你当前的硬件配置，决定你要买什么设备，想要单任务快就买高算力，想要提升并行就买高显存、高带宽，精度不够就加参数数量
从你的需求来看，我觉得 qwenvl-32b 这个基本完全足够了，有些识图效果更好的还得花钱没什么太大必要。用的人不多但单文件 200 页，个人感觉你买的这些 ai 工作站其实能力都超标不少了。一台搭载 4060-4070 能力的个人主机基本都能完成这个工作，当然了，公司不差钱的话当我没说。
总之先别急着花钱，自己部署了观察再做决定

2024-10-28 17:26:39 +08:00

回复了 CNN 创建的主题 › 程序员 › 程序员 2024 双十一有推荐工学椅的吗？

刚入手西昊 c500 ，建议刷过视频之后，一定去实体店试，比如仰角，座椅高度，所有功能的可调节范围，网面磨不磨，底盘感受，这种视频做的再细也是看不出来的，另：实体店提比电商平台便宜；营销拉满的做工必然差，例如 b 站铺满营销的那家

» coldfannn 创建的更多回复