V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  kiritoxkiriko  ›  全部回复第 4 页 / 共 12 页
回复总数  231
1  2  3  4  5  6  7  8  9  10 ... 12  
@adminhf #1 我觉得奥乐齐东西比盒马实惠
180 天前
回复了 x97bgt 创建的主题 程序员 有没有什么好的 log 浏览工具?
cat temp.log | vim -
198 天前
回复了 alphardex 创建的主题 生活 爸妈被婚介所劝诱,想花费高额资金开会员
偷摸零桑,不如把这笔钱花在现地看 live 上 https://i.imgur.com/io2SM1h.png 够飞好几次的了
230 天前
回复了 Woolaman 创建的主题 Local LLM 公司要搭建本地大模型,推荐配置。
70b 模型 BF16 精度 2 张 a100/a800 ,int4 要 1 张,买不到可以换成 4 张 4090
感觉可以看看外面的机会了
如果你说的线上包括客户端的话,那可以用 kazumi ,pc 版也有
op 是前同事,技术很🐂,人非常靠谱,欢迎大家投简历
313 天前
回复了 assiadamo 创建的主题 求职 大佬们,一人来一个内推,年后准备跳槽
@assiadamo 大祥老师被疯狂回旋镖呀
@jojoadv #31 我感觉国外 waze 更好用,google 用来导航地铁火车啥的好使
319 天前
回复了 xietianxiao 创建的主题 Android 国补换机,求推荐安卓手机
一加 13 ,能解 bl
322 天前
回复了 v2zzzzz 创建的主题 Linux 2025 年了,大家服务器用的什么 Linux 版本
ubuntu server -> debian
主要是槽钩的 snap
331 天前
回复了 anivie 创建的主题 机器学习 模型部署的姿势
@anivie #8 可以看下 bentoml ,这个项目允许你在现有的推理代码上简单包一层就可以部署生产级别的服务
335 天前
回复了 anivie 创建的主题 机器学习 模型部署的姿势
生产级别的主流开源推理框架有 tgi vllm sglang tensorrt-llm lmdeploy ,这些框架都支持直接启动 openai compatible 的 http server ,后面可以接 rag 或者那种 chatbot gui 来调 api ,性能和兼容性略有不同
vllm 支持的模型应该是最多,trt-llm/sglang 性能更好
自己部署着玩可以用 ollama
1  2  3  4  5  6  7  8  9  10 ... 12  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   929 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 20:42 · PVG 04:42 · LAX 12:42 · JFK 15:42
♥ Do have faith in what you're doing.