业务型后端程序员如何入门大语言模型？

[xiaokangz]

我是一名.NET 后端程序员，目前主要从事企业管理系统开发。
不过最近接到一个需求，要做一个 ChatBot ，主要目的是回答用户针对系统操作方面的问题，答案主要来自于用户手册。

我就想了解下，作为后端程序员（没有任何 AI 经验）要怎么入门大语言模型？比如搭建一个 ChatBot 大概需要哪些步骤之类的，主要希望对大语言模型有一个整体的理解。

另外，看到了这篇文章 https://botpress.com/blog/open-source-chatbots ，给我的感觉这些开源项目都只是个前端，需要配合后端的 NLU 和 LLM 使用。不知道这样理解对不对？

[dododada]

有个基于 streamlit 做的 langchain-chatchat ，搭起来跑一下看看，其实就是调接口，调整 prompt, 现在连调参都不要了，但是本地跑有些吃资源

[xiaokangz]

@dododada 感谢回复，我先研究研究

[xiaokangz]

回复下自己的帖子吧，分享下自己做这个项目的经历，说不定对跟我一样懵的小伙伴有点帮助。

起初，我以为要通过微调来实现，但搞了几天后，发现根本搞不起来，一来没有机器，二来也没有数据。后来有一个同事提到说，可以用 RAG 实现。当时我还没听过这个词，于是换了换思路，发现市面上已经有很多现成的工具，比如 MaxDB 、AnythingLLM 之类的，而且使用下来发现效果还过得去。于是就开始尝试理解 RAG （检索增强生成）的工作原理。就这样，一边学一边做，最后把整个流程跑通了。

现在看来 RAG 无非就是让大模型做阅读理解，唯一的难点是如何提升检索内容的相关性与准确性，这是提升大模型回答质量的关键。

在深入研究之后，发现传统的 RAG 更适合回答那些知识库已经有明确答案的问题，比如如何创建一个用户，这类问题通常手册里已经给出了明确答案。但诸如“这本书大致讲了一个什么样的故事？”之类的全局性问题，传统 RAG 无能为力。此时可以考虑使用 LightRAG ，或者 GraphRAG 。