纯前端实现图像标记分割和去除背景

[LHRUN]

最近有了一点空闲时间, 分享一下我的开源画板最近新做的功能, 纯前端实现图片去除背景和图片标记分割, 具体可以在底部菜单上传图片那里体验效果.

访问链接: https://songlh.top/paint-board/
Github: https://github.com/LHRUN/paint-board

这两个功能是通过 transformers.js + WebGPU 实现的, transformers.js 是一个基于 hugging Face 的 transformers 设计的 JS 库, 可以直接在浏览器端运行, 无需借助服务端. 然后它最近也是更新到了大版本 V3, 更新了很多功能, 同时也支持了 WebGPU, 大幅提升了处理速度, 据官方介绍, 比 WASM 快了 100 倍, 像我做的这两个功能基本上处理能达到毫秒级. 不过唯一的缺点就是支持 WebGPU 的浏览器不太多, 建议使用最新版的谷歌浏览器.

• Transformers.js v3: WebGPU Support, New Models & Tasks, and More…

而且当前我看 transformers.js 已经在 Hugging Face 上支持了 1000 多个模型, 可以做很多东西. 如果你也是一个前端开发, 我强烈建议你去了解一下 transformers.js, 特别是现在已经支持了 webgpu, 说不定可以为你的项目添加不少亮点.

如果你有什么好的想法和建议或者也玩过 transformers.js 欢迎交流 🤩

[Seanfuck]

加载模型要挺长时间吧

[LHRUN]

@Seanfuck 还好 第一次加载顶多几秒 后面就有缓存了

[yedaxia]

画板非常棒！

[yoiteshaw]

看着好厉害，先🐎住，方便后续学习

[imherer]

厉害，我还说准备 fork 收藏，结果发现很早之前就 fork 过了

[yanggggjie]

太棒了，做的很好🤙

[forty]

收藏！不明觉厉！

[9436494262626]

绘画还挺好玩儿

[liulicaixiao]

非常强，感觉非常适合临时在别人的电脑上扣个图

[LHRUN]

@yedaxia
@yoiteshaw
@yanggggjie
@forty
@9436494262626
thanks 😘

[LHRUN]

@imherer 多谢支持 我之前重构时在 V 站推广过一次

[LHRUN]

@liulicaixiao 是的，其实这两个功能可以单独做个网站使用了

[allenby]

挺牛的，追求新技术正是需要的

[Alexf4]

牛的！！已 Star, 不知道有没有商业化计划！

[LHRUN]

@allenby 多谢支持

[LHRUN]

@Alexf4 多谢支持。

暂时没有这方面的计划，一是没时间，也没什么想法，现在只是像一个咸鱼时不时的维护一下修修 bug 😂

[rm0gang0rf]

starstart

[LHRUN]

@rm0gang0rf 多谢支持

[rm0gang0rf]

图像分割功能加载失败...啥情况

[rm0gang0rf]

err Error: The device (webgpu) does not support fp16.
at D (vendor.9e161471.js:3180:15132)
at async vendor.9e161471.js:3180:17340
at async Promise.all (paint-board/index 0)
at async R (vendor.9e161471.js:3180:17237)
at async Promise.all (paint-board/index 0)
at async kl.from_pretrained (vendor.9e161471.js:3180:24452)
at async index.efbcfb82.js:1:202150