kerb15

kerb15

V2EX 第 283707 号会员,加入于 2018-01-17 17:15:10 +08:00
今日活跃度排名 23953
根据 kerb15 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
kerb15 最近回复了
@sdjl #14 怎么可以拿模型的回复结果来作为参考,毫无价值
7 天前
回复了 kerb15 创建的主题 OpenAI GPT4 API 好像无法保证每次输出都一样?
@xmumiffy
@kaidong21
我试着给 Seed 传了一下 0 和 1 ,发现都没用,看参数注解也是说尽可能保障,实际上我测试的结果是变化的概率挺高的
8 天前
回复了 kerb15 创建的主题 OpenAI GPT4 API 好像无法保证每次输出都一样?
尽管将温度参数设置为 0 、top_p 参数设置为 0 ,也不能完全保证在相同的输入提示下生成的文本完全一致,主要原因是因为在 GPU 计算过程中存在固有的非确定性。

这是因为浮点数计算中的微小差异可能会导致最终选择的 token 有微小变化,特别是当前两个最有可能的 token 之间的差异很小时,会偶尔选择不同的 token ,从而产生不同的结果。

同时,为了提高模型端点的速度,通常使用 GPU 进行计算,而 GPU 计算是并行的(非确定性的)。

在现代的 GPU 神经网络计算中,这种非确定性是无法避免的。

而且,如果模型被部署在不同的区域以实现负载均衡,不同区域的硬件和环境也可能会对模型的计算产生微小的影响,进一步增加了非确定性。

作者:月明
链接: https://www.zhihu.com/question/595912240/answer/3160446512
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
9 天前
回复了 winterbells 创建的主题 问与答 春秋航空严查背包大小吗
你都这么讲了,那不就是事在人为吗,有操作空间,看眼缘,随时做好加钱的准备
@gaobh #4 这么多账号资源,再加上缓存,其实都不纯粹了,不是最原汁原味的调用
10 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@geniussoft #27 我以为硬 raid 性能才是最好,看了下主板也是支持的
10 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@geniussoft #25 如果是主板直接支持阵列或者插阵列卡,是不是就不存在这个问题了
10 天前
回复了 sakujo 创建的主题 iOS 微信输入法是不是在 ios 设备上不太灵
微信输入法的最大问题是词库太拉跨了
10 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@geniussoft 原来这里是需要芯片去支持的
11 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@Byzliu 因为我的数据很久更新一次,另买了一块 16T 的做冷备份,所以他寄了问题也不大
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   957 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 21:17 · PVG 05:17 · LAX 14:17 · JFK 17:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.