V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
caohuihe31
V2EX  ›  OpenAI

我自己做了一个公众号,使用的是 ChatGPT 3.5 openAI 接口,为啥延迟有点大。

  •  
  •   caohuihe31 · 362 天前 · 1597 次点击
    这是一个创建于 362 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大概 10 秒的延迟吧。请问正常吗?我是付费用户。 有没有方法让 OpenAI 更加快速的响应。

    11 条回复    2023-04-24 10:40:01 +08:00
    seakey001
        1
    seakey001  
       362 天前
    quzard
        2
    quzard  
       362 天前
    因为没绑卡
    caohuihe31
        3
    caohuihe31  
    OP
       362 天前
    @quzard 绑了卡,还特意设置到上限 500 美元。(默认 120 美元)
    caohuihe31
        4
    caohuihe31  
    OP
       362 天前
    @seakey001 你这个直接调用的 3.5(turbo)接口是的吧,看起来很快。请教下你服务器部署在什么地方的?我的确实很慢,比你这个慢多了
    mmdsun
        5
    mmdsun  
       362 天前 via iPhone
    在美国小服务器,速度很快,接口用了 steam 流参数,走 SSE
    lxiian
        6
    lxiian  
       362 天前 via iPhone
    公众号,怕不是直接用 post 请求的。stream 响应才会快,不用 stream 的话,要等回答完毕才返回数据
    qiayue
        7
    qiayue  
       362 天前
    https://github.com/qiayue/php-openai-gpt-stream-chat-api-webui/
    用流式请求,并且在第一句返回时,先发给用户,剩下的等全文返回再发给用户。
    这样就给用户一个预期,知道你已经在回答中了。
    caohuihe31
        8
    caohuihe31  
    OP
       362 天前
    @mmdsun 感谢分享。不过我的是直接放在公众号里面,使用微信的聊天界面,可能不合适使用 stream.
    caohuihe31
        9
    caohuihe31  
    OP
       362 天前
    @lxiian 是的。难怪比别人慢
    cs3230524
        10
    cs3230524  
       362 天前
    @mmdsun sse 是个啥?
    mmdsun
        11
    mmdsun  
       361 天前
    @cs3230524 Server-Send Events
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2596 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 01:39 · PVG 09:39 · LAX 18:39 · JFK 21:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.