V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jjyyryxdxhpyy
V2EX  ›  问与答

大佬们,求助本地部署大模型

  •  1
     
  •   jjyyryxdxhpyy · 105 天前 · 4576 次点击
    这是一个创建于 105 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有下面几个要求:

    1 、本地部署开源的大模型

    2 、有知识库管理

    3 、可提供接口

    有没有满足的产品呀

    38 条回复    2024-04-03 10:07:29 +08:00
    2kCS5c0b0ITXE5k2
        1
    2kCS5c0b0ITXE5k2  
       105 天前
    ollama AnythingLLM
    andytao
        2
    andytao  
       105 天前
    NoobNoob030
        3
    NoobNoob030  
       105 天前
    1. 大模型单独部署,huggingface 或者魔搭社区看看文档就能部署
    2. 知识库管理+接口这种 AI 平台,想傻瓜式开箱即用的,国内推荐 fastgpt ,国外推荐 langflow 。想自己开发就用 langchain
    jjyyryxdxhpyy
        4
    jjyyryxdxhpyy  
    OP
       105 天前
    @NoobNoob030 谢谢
    jjyyryxdxhpyy
        5
    jjyyryxdxhpyy  
    OP
       105 天前
    @andytao 谢谢,我看看
    jjyyryxdxhpyy
        6
    jjyyryxdxhpyy  
    OP
       105 天前
    @emeab ollama 我知道,本地部署了,现在在想怎么集成知识库
    andytao
        8
    andytao  
       105 天前
    楼主考虑的是编程集成吧?

    比如用已有知识库训练模型,调用 API 输出想要的结果等,最好把后续细节细化一下,或许有更多有可行性的建议;
    seeyourface
        9
    seeyourface  
       105 天前
    同问,通过知识库外部引用和使用知识库作为训练集微调模型,有没有这方便的大佬知道哪种方式的效果更好吗
    jjyyryxdxhpyy
        10
    jjyyryxdxhpyy  
    OP
       105 天前
    @andytao 是这样,本地部署一个类似 ollama 的服务,集成开源大模型,然后基于这个模型,集成知识库,对面前端来说,可以调用接口,做进一步修改,适配项目
    jjyyryxdxhpyy
        11
    jjyyryxdxhpyy  
    OP
       105 天前
    @andytao 谢谢,我看看
    Lockeysama
        12
    Lockeysama  
       105 天前
    本地模型和其它可以分开的话,可以试试 https://github.com/langgenius/dify
    支持接入本地模型
    tricker1215
        13
    tricker1215  
       105 天前
    话说有没那些本地“小模型”。
    基于特定的文本内容做成一个问答机器人,文本内容短,但是准确性要求高。
    fredweili
        14
    fredweili  
       105 天前
    hugging face 去找找
    jjyyryxdxhpyy
        15
    jjyyryxdxhpyy  
    OP
       105 天前
    @fredweili 太难找了
    jjyyryxdxhpyy
        16
    jjyyryxdxhpyy  
    OP
       105 天前
    @tricker1215 这不就是,和我要求差不多,本地部署,需要集成知识库
    jjyyryxdxhpyy
        17
    jjyyryxdxhpyy  
    OP
       105 天前
    @Lockeysama 可以
    NewHere
        18
    NewHere  
       105 天前
    英伟达的 Chat with RTX 呢,那个好像是分析本地文件的
    kuqma98
        19
    kuqma98  
       105 天前
    Langchain-chatchat
    supergeek1
        20
    supergeek1  
       105 天前
    https://github.com/chatchat-space/Langchain-Chatchat
    这个应该完全符合你的要求,支持本地模型、知识库管理问答、API 页面都有
    jjyyryxdxhpyy
        21
    jjyyryxdxhpyy  
    OP
       105 天前
    @supergeek1 可以可以,感谢
    jjyyryxdxhpyy
        22
    jjyyryxdxhpyy  
    OP
       105 天前
    @kuqma98 感谢
    supergeek1
        23
    supergeek1  
       105 天前
    @jjyyryxdxhpyy #21 不过这个项目的代码感觉有点杂了(好像也快出 0.3 版本了),如果会开发的话你的需求用 langchain+fastapi 搞一搞也很快能实现
    wwhc
        24
    wwhc  
       105 天前
    echoyangjx
        25
    echoyangjx  
       105 天前
    网易有道这个满足你的需求,https://qanything.ai/
    Adelell
        26
    Adelell  
       105 天前 via iPhone
    jackrebel
        27
    jackrebel  
       105 天前
    留眼学习
    jjyyryxdxhpyy
        28
    jjyyryxdxhpyy  
    OP
       105 天前
    @wwhc 收到
    isquare
        29
    isquare  
       104 天前
    fastgpt 比较符合你的需求,dify 我也用过,但是好像外国人做的水土不服。再一个它支持可视化的高级编排 workflow ,上手比较容易,很方便快速搭建。

    1. 本地部署开源大模型,这一点跟知识库本身没关系,你自己随便部署

    2. 知识库,fastgpt 我觉得做的比较好,它比较早使用 QA 问答对儿的模式去构建知识库,后来其他框架比如 dify 也抄了这个模式

    3. fastgpt 的知识库接口兼容 openai 接口的调用,也有自己的格式(用 chatid 存储对话历史之类的),调用比较方便
    jjyyryxdxhpyy
        30
    jjyyryxdxhpyy  
    OP
       104 天前
    @isquare 非常感谢
    charexcalibur
        31
    charexcalibur  
       104 天前
    ollama ➕dify
    yukYaoT
        32
    yukYaoT  
       104 天前
    fastGPT 吧,今天我们也在部署这个
    Jat001
        33
    Jat001  
       104 天前
    @isquare #29 dify 都有中文文档,怎么可能是外国人做的,苏州的公司,去年创建的
    7VO54YYGvw3LOF9U
        34
    7VO54YYGvw3LOF9U  
       104 天前 via iPhone
    一直不太懂如果本地部署大模型不是为了商用,有什么意义
    jjyyryxdxhpyy
        35
    jjyyryxdxhpyy  
    OP
       104 天前
    @hugi 有些内网环境
    jjyyryxdxhpyy
        36
    jjyyryxdxhpyy  
    OP
       104 天前
    @yukYaoT 可以
    conglovely
        37
    conglovely  
       104 天前
    我用 ChatGLM3 + Langchain-chatchat 搭起来了
    拯救者 4060 8G 显存跑满,还借用了点内存 模型要能再精简点就好了
    isquare
        38
    isquare  
       104 天前
    @Jat001 #33 我描述的是我主观感觉,“好像外国人做的”,体验一般的意思
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4763 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 05:42 · PVG 13:42 · LAX 22:42 · JFK 01:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.