V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiandao7997
V2EX  ›  问与答

开发时遇到的搜索文件类的问题,顺序访问很慢,多线程访问会有不同进程读取同一个文件的问题……

  •  
  •   xiandao7997 · 2015-01-12 11:46:09 +08:00 · 2530 次点击
    这是一个创建于 3364 天前的主题,其中的信息可能已经有所发展或是发生改变。
    上班的时候遇到个问题。想了两个办法但效果不好,来求助下…
    一个翻译的资源文件里有大概 1w 个 key,现在这些 key 里面有些不用了,需要找出来并删掉。我的想法是,先把这些 key 读到内存里,然后用文本搜索工具在代码文件中找这些 key,如果能找到,就把找到的结果写入一个文件,最后再分析这些结果文件即可。
    现在的问题出在搜索部分,因为 key 很多,一个个顺序搜是很慢的,每个 5s 也要 5w 秒。只能多线程,每 100 个 key 一批, 多线程并行搜索, 实际操作过程中发现搜索工具经常会抛错, 同事说,可能是不同的搜索线程在访问同一个文件。 那么问题是, 顺序很慢,多线程又会有多个进程访问一个文件的异常。。。 我想不出还有什么更快的方法……v友们还有什么思路吗?
    先谢了~
    8 条回复    2015-01-12 16:32:29 +08:00
    choury
        1
    choury  
       2015-01-12 12:46:17 +08:00 via Android
    如果经常要搜的话为什么不排个序呢
    xiandao7997
        2
    xiandao7997  
    OP
       2015-01-12 12:56:53 +08:00
    @choury 排序是没有用的,
    是把每个 key 在所有的代码文件里搜一遍,不是把 key 在 key list 里搜一遍 :)
    ddaii
        3
    ddaii  
       2015-01-12 12:59:37 +08:00
    @xiandao7997 代码文件很大吗?何不把代码文件也一起载入内存?
    yfdyh000
        4
    yfdyh000  
       2015-01-12 13:10:22 +08:00
    读取应该可以非独占模式吧。能实现从文件中提取key吗,遍历一次就够了。为什么不用标准、通用的翻译格式呢,比如.po/.pot之类的。如果都不行,key就留着不行么,应该不太占地方。
    xiandao7997
        5
    xiandao7997  
    OP
       2015-01-12 14:02:02 +08:00
    @ddaii 加上编译出的 dll, exe 杂七杂八有1G,这么说好像也不是很大,就是不知道有没有更好的办法

    @yfdyh000 非独占模式第一次听说 =.= 需要再调查下;从文件中提取 key……key 的存在没有固定模式,有时候是单独调用 key 去翻译,有时是一个 list 一起翻译,代码中可能多行也可能单行,最靠谱的办法需要写解析,不会写……正则应该也行,可以试试。。;留着就不太好,以后会越来越脏。
    xiandao7997
        6
    xiandao7997  
    OP
       2015-01-12 14:05:09 +08:00
    @yfdyh000 读取文件的操作是由 搜索工具自己完成的,(非)独占模式我不能控制。。
    ddaii
        7
    ddaii  
       2015-01-12 16:03:09 +08:00
    @xiandao7997 这么看来其实代码可能也就几十M,这其中可能还包括第三方库什么的,实际需要搜索的文件不会很多,自己写个小程序把代码读入内存,然后一个个搜索就行了。我觉得这样已经足够快了。
    ruoyu0088
        8
    ruoyu0088  
       2015-01-12 16:32:29 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5382 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 07:35 · PVG 15:35 · LAX 00:35 · JFK 03:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.