@WuSiYu 个人玩具，其实慢一点也就能接受。

@mushuanl 个人先玩玩，企业会用 H100 之类的微调吧

@mushuanl 后续可能会在企业中微调生成行业模型

好奇你公司是如何收集到 6 亿个人信息的

@ShadowPower #24
不是买显卡的问题，主要是买了显卡还要配一整套环境，感觉就像为了这点醋，特意包了顿饺子。
而且一整套环境，体积太大了，桌面和桌子底下也没地方，功耗还高。

@timeance #23
这个倒是没太了解，不过看了几个大佬的教程和视频，感觉没太影响性能

@ambition117 DLA 被放弃，那有下一代的消息么，主要是看他统一交换内存，64G 够大，还能跑 CUDA,价格还合适

@mushuanl 也有考虑过 Mac Studio Ultra 192G+2T 版本，但预算有点超太多了，而且本来也是学习玩票的性质，感觉没啥必要，主要是穷，下不去手。

@timeance 64G 的，主要是用来推理，价格大概 16000 左右。是 Jetson AGX ORIN 64G

@WuSiYu 跑 int4 的量化模型呢，速度也非常慢吗？

@leimao 好的，非常感谢大佬

@leimao 多谢指正

@ysc3839 主要为了折腾，坑多倒是不怕。YouTube 上看了一些视频，跑 llama2-13b 能有 2tokens 左右的速度，主要看它体积小，如果换 n 卡 4090 的话体积太大，功耗太高，而且两张 4090 有些超预算了。

有 Nvidia 大佬吗，能给个优惠码么？

熟悉营销 2.0 吗

基本上没有，主数据都和 ERP,CRM,HRM 这类系统深度绑定

选 7,然后毕业考各省市大数据中心的公务员，最差也有三大运营商的运维做保底。

@horseInBlack 除了 dvi 接口，还有 HDMI 的接口，应该能满足你的需求。