V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cocoZombie
V2EX  ›  程序员

关于摄像头动作捕捉的方案选择

  •  
  •   cocoZombie · 227 天前 · 1637 次点击
    这是一个创建于 227 天前的主题,其中的信息可能已经有所发展或是发生改变。

    兄弟们,我今天接到公司的需求,头大。 公司要搞一套动作捕捉方案,但是我对动捕完全不懂啊,领导让我找解决方案,所以来这里想询问一下大家的意见。

    业务描述:
    必须使用摄像头录像,并在画面中捕捉特定人的骨骼信息,比如头部,手肘,大腿等。优先选择普通的 webcam

    基本需求:

    1. 基于摄像头的动作捕捉方案。
    2. 只捕捉一个人,如果出现多人则会忽略多出来的人。
    3. 能获取特定部位的二维坐标信息,比如大腿在平面坐标系中的位置。
    4. 获取关节的夹角。
    5. 判断当前的姿态,比如:走路,下蹲,跳跃等。
    6. 能获取人的位置信息,看他走到了哪里。

    有朋友有这方面的经验吗?
    领导说是找一下开源的 SDK 。
    我今天搜了下,发现可以使用第三方的 RGB-D 深度摄像头并配合其 SDK 进行开发,比如奥 bi 的一些摄像头,他们有现成的解决方案。
    开源 SDK 的话我搜到了 openPose ,不过我们的需求需要我们自己再开发。

    求大佬们指点迷津

    16 条回复    2023-11-01 16:29:46 +08:00
    codeself
        1
    codeself  
       227 天前
    你啥技术栈?这属于自己是谁都没介绍明白
    israinbow
        2
    israinbow  
       227 天前
    纯视觉动补 mediapipe 一把梭, 你举得问题都是业务, 动不出来的数据看一眼就知道怎么处理了, 剩下的自己琢磨去.
    kera0a
        3
    kera0a  
       227 天前 via iPhone
    可以用 OpenPose ,1 、2 、3 、4 都非常简单。5 、6 估计得琢磨下不好搞
    Bown
        4
    Bown  
       227 天前
    开源的话 Google 的 Mediapipe 还不错,可以直接体验 Web 端 Demo 看是否满足需求 https://mediapipe-studio.webapps.google.com/home
    israinbow
        5
    israinbow  
       227 天前
    @kera0a #3 相机标定个坐标系, 纯肢体坐标判断就能实现.
    cocoZombie
        6
    cocoZombie  
    OP
       227 天前
    @codeself 我们的项目最终是要嵌入到 HTML 中。
    cocoZombie
        7
    cocoZombie  
    OP
       227 天前
    @israinbow 好的,谢谢
    cocoZombie
        8
    cocoZombie  
    OP
       227 天前
    @Bown 明白了,谢谢,我去琢磨一下
    KaliZ
        9
    KaliZ  
       227 天前
    我试图把需求分个类:
    2:目标跟踪
    3 、4:姿态估计
    5:行为识别

    19 年使用 OpenPose 和图卷积网络做过 3 、5 ,精度不大符合预期😐
    ysc3839
        10
    ysc3839  
       226 天前 via Android
    要嵌入网页的话,基本就只有 Tensorflow 相关的可用了,其他框架似乎都得在 native 应用跑的
    ysc3839
        11
    ysc3839  
       226 天前 via Android
    模型大概可以选 MoveNet ,搜了下有现成的项目 https://github.com/szczyglis-dev/js-ai-body-tracker
    cocoZombie
        12
    cocoZombie  
    OP
       226 天前
    @KaliZ 好的,谢谢。openpose 的优先级降低了
    cocoZombie
        13
    cocoZombie  
    OP
       226 天前
    @ysc3839 非常感谢,其实也不是非 html 不可。我们的项目是基于 electron 框架的 PC 桌面端应用。
    Winner4good
        14
    Winner4good  
       226 天前
    可以看看是否符合你的需求,
    cocoZombie
        15
    cocoZombie  
    OP
       178 天前
    @Winner4good 谢谢,确实可以,不过我最终选择了 MediaPipe
    cocoZombie
        16
    cocoZombie  
    OP
       178 天前
    一个半月过去了,更新一下近况
    我们最终选择了 MediaPipe ,目前基本符合我们的需求。
    MediaPipe 可以提供所有的关节点信息,并且我们可以根据这些信息计算出夹角,根据夹角可以计算出姿态。
    位置信息也会在 MediaPipe 的返回信息中呈现,可以根据这些信息计算位移。
    不过位置信息我们目前不是很需要,我个人感觉位置信息计算位移并不精确,等待后续开发时再更新此贴。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2469 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 16:03 · PVG 00:03 · LAX 09:03 · JFK 12:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.