V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
s609926202
V2EX  ›  自然语言处理

请教一下此类场景在 NLP 中属于哪个功能分支,可否通过 NLP 相关模型实现

  •  
  •   s609926202 · 2023-02-09 14:13:35 +08:00 · 1102 次点击
    这是一个创建于 413 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简单点说,就是从微信群聊记录中摘取关于工序流转的文本,并从中提取关键信息,录入到数据库中。

    其中关键信息有:工序名称,产品型号,数量,批次,接收人等。规定的流转格式是:

    封装转测试
    HP-10010 10 只 2301 批
    @张三
    

    但是具体到操作员发到群聊的时候,就变味了,各种五花八门的表达都有,这也就导致原本可以使用正则来提取信息变得困难,比如:

    转测试 HP-10010 10 只 2306 周  
    @张三
    
    HP-10010 转高低温测试 10 只 2306 周  
    @张三
    

    如果用 NLP 来处理,如分词、词法分析、自动摘要,都不符合上述场景。

    所以请教大家,有没有一个 NLP 功能,我可以自定义词库,如产品型号、工序名称,使得它能正确的识别到这是 1 段关于工序流转的语言,从而提取出关键信息。

    4 条回复    2023-02-09 14:48:24 +08:00
    liprais
        1
    liprais  
       2023-02-09 14:20:34 +08:00
    三元组提取呗
    都不用 chatgpt,一般的 gpt2 模型都能做
    看看清华搞出来的那个 ,可以直接 few shot 训练
    vsitebon
        2
    vsitebon  
       2023-02-09 14:41:23 +08:00
    如果你产品型号长度固定而且搭配类似,然后只前边一定有数字,且周前边有数字,我觉得这个问题用个正则,或者两三个正则就能解决了。。。
    s609926202
        3
    s609926202  
    OP
       2023-02-09 14:44:43 +08:00
    @vsitebon 目前用的正则,不理想,主要是各种表达都有
    TimePPT
        4
    TimePPT  
       2023-02-09 14:48:24 +08:00
    实体提取,常规任务,最简单就是政策,追求泛化,需要一些数据做训练语料。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   959 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:38 · PVG 05:38 · LAX 14:38 · JFK 17:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.