V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zwMuZhi
V2EX  ›  程序员

如何监控 FTP,实时记录上传文件

  •  
  •   zwMuZhi · 2021-03-08 15:49:34 +08:00 · 2236 次点击
    这是一个创建于 1359 天前的主题,其中的信息可能已经有所发展或是发生改变。

    使用 apache ftp 搭建的文件服务器,目前是用定时任务不停的遍历,建个表存储已经存在的文件。 想问一下有没有优化方案,感觉目前的方式不是很优雅

    9 条回复    2021-03-09 09:04:40 +08:00
    tzigone
        1
    tzigone  
       2021-03-08 15:59:02 +08:00
    常用的 FTP 都是做数据短期交换,一般做法是 download service 进行数据下载,然后记录文件信息到 db,下载后清空目录的。做到可追溯可查询即可。
    opengps
        2
    opengps  
       2021-03-08 16:00:44 +08:00
    自己写个文件夹监控小应用程序就行
    treemonster
        3
    treemonster  
       2021-03-08 16:01:59 +08:00 via Android
    写个中间层,流量转发到中间层先解析文件,再转发流量到 ftpserver
    huangmingyou
        4
    huangmingyou  
       2021-03-08 16:03:09 +08:00
    inotify-tools 监听文件系统上的文件创建事件
    zwMuZhi
        5
    zwMuZhi  
    OP
       2021-03-08 16:27:43 +08:00
    @tzigone 不能做清空目录的操作,如果只做短期数据交换,文件过来后下载到本地,操作流程会不会复杂了。目前文件使用过后我们会进行压缩备份,但是这个操作是延时的,我们系统是需要读取 FTP 号码文件然后进行号码发送,文件过来后,可能会过很久才发送,
    FS1P7dJz
        6
    FS1P7dJz  
       2021-03-08 16:53:12 +08:00
    FTP 不都是有日志么...
    包括传输开始,传输的文件,传输结束,大小等等
    你直接读日志好了
    azureaz
        7
    azureaz  
       2021-03-08 18:36:45 +08:00
    看 FTP 服务的日志不就妥了
    cryboy007
        8
    cryboy007  
       2021-03-08 19:28:34 +08:00
    3 楼说的对啊,自己加个中间层
    xxxyh
        9
    xxxyh  
       2021-03-09 09:04:40 +08:00
    4 楼+1,shell 写个脚本,用 inotify 递归监控总文件夹,文件创建后调用插入接口把路径传过去
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5447 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 07:23 · PVG 15:23 · LAX 23:23 · JFK 02:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.