跟 LZ 类似的需求，现在主力在用 Dify ，同时还在备选观望 Bisheng 和 RAGFlow ，这俩还没部署，实际功能和体验尚不明确。

目前的主力解决方案是：框架用 Dify ，主要选择理由是完成度高，开箱即用。LLM 本地部署了 Qwen1.5-14b （基本上目前国产开源 10b 级别里面中文对话场景最强），也有 API 接入方式的 LLM ，比如 moonshot 。对智谱、百川和 yi 在实际任务中的表现比较失望。为了 RAG 任务本地还部了 embedding 模型和 rerank 模型。

知识库功能那块，Dify 目前的能力勉强算“能用”，自动分块基本上都是切稀碎，想要召回命中效果好，重新编辑 chunk 是必须的。而且对复杂文档的解析非常一般，这也是目前在看 RAGFlow 的原因（文档解析功能很牛，但整体框架的完成度太低）。

我这边的需求不仅仅是企业私有知识库，还需要对接企业数据库（ MySQL ）以实现 Chat to DB 的功能，目前还在研究解决方案摸索中。如果大家有合适的解决方案，也请推荐一下。