MegaPortal 最近的时间轴更新
MegaPortal

MegaPortal

V2EX 第 616057 号会员,加入于 2023-02-25 23:19:55 +08:00
MegaPortal 最近回复了
@qieqie 是的,在不同数据量级上,HNSW 算法可能不是最有解,感谢提供建议。

CloseVector 的核心价值并不是在计算性能上在不同量级上取得最优解,而是提供一套本地运行向量数据库的解决方案,这种解决方案可能适用于数据敏感、可扩展性要求比较强( CloseVector 只依赖本地存储或者 CDN 存储)的场景,而这些场景不一定需要服务端向量数据库的参与,例如你需要索引本地的所有图片,索引你本地的所有文档,只要本地设备能够接受运行、存储、传输成本即可。

至于 CloseVector 为什么选用 HNSW 呢,是因为一是 HNSW 在不同数据量级上,表现可接受;二是 HNSW 算法足够简单且有开源的成熟库,能够比较方便支持后续 CloseVector 在例如 Python 、Swift 、Kotlin 等语言上提供接入版本。

在小量级的场景,HNSW 的表现应该在用户可感知范围没有明显影响,后续 CloseVector 如果需要优化运行效率的话,确实可以向您说的,优化序列化结构,然后在不同的量级上采取不同的算法。
基于 Hnswlib ,重写了 CloseVector 的实现: https://closevector-docs.getmegaportal.com/blog/release

1. 通过 WASM, CloseVector 现在可以在浏览器上运行,这可能适合一些前端插件类的应用;
2. 我们添加了针对 node.js 和 web 的 npm 库,以便于快速集成,同时这些库与 langchain 是兼容的;
3. 创建数据库后,可以通过 API 上传到 CloseVector 后台,这样在 node.js 或 web 环境中方便下次加载和使用。

CloseVector 的文档站点的搜索功能是基于 CloseVector 本身实现的。您可以访问文档站点来体验: https://closevector-docs.getmegaportal.com/

查看文档站点的具体实现: https://github.com/MegaPortal/closevector-doc
@amoia50 后面完善完善,再考虑开源哈。
2023-03-20 22:53:45 +08:00
回复了 buludu 创建的主题 MacBook Pro 一年不到的 21 款 Macbook Pro,电池最大容量只有 92%了
Health Information:
Cycle Count: 89
Condition: Normal
Maximum Capacity: 99%
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5459 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 09:07 · PVG 17:07 · LAX 02:07 · JFK 05:07
Developed with CodeLauncher
♥ Do have faith in what you're doing.