上传文件时，如何设计不会保存未引用的文件

[wunonglin]

例如一个图床服务。

1 、数据库使用了 file 和 image 两个表设计
2 、系统接入了第三方对象存储
3 、使用直传对象存储方式
4 、入库储存的是对象存储的 key 值
5 、我知道一些云是有回调服务器的功能，可以利用此功能将文件 key 写进 file 表

在这种情况下，如果我上传了文件，但是我不提交到 image，那文件就会存在 file 里面，也就是微博图床的现状。

当然实际情况肯定不只只有 image 使用了 file，还会有各种地方。

我目前的做法是服务器中转来创建文件，让后创建 image 的同时创建 file 以此保证一致性

func CreateXXX -> func CreateFile
func CreateXXX -> func CreateFile

另一个想法是在 file 表加 ack 机制然后做定时任务去删除

所以在上传这种场景中，如何设计才能保证一致性而不会被滥用？

[eason1874]

1 、前端选择文件
2 、点击上传，提交 ContentType 、ContentLength 、ContentMD5 、FileName 等到后端获取签名
3 、后端在数据库添加记录存储文件信息，包括 ObjectKey，UploadStatus 为 0，返回 S3 签名直传链接
4 、前端直传文件到 S3，完成后请求后端接口报告已上传完成
5 、后端 head Object meta，确认已完成，将 UploadStatus 设置为 1

签名参数的 ContentType 、ContentLength 、ContentMD5 、ObjectKey 等信息可以令 S3 校验，确保真实上传的内容就是签名的内容。

剩下的怎么做，跟直接上传到服务器是一样的。比如你要的同时创建 image 和 file 记录，可以在报告上传完成的时候做。控制上传频率就在获取签名时检查。

[wunonglin]

@eason1874 #1

如果我到了第四步传完到 s3 就停止了。那存在 s3 上面的文件怎么办，如何删除？要走定时任务什么的么？

[wunonglin]

@wunonglin #2

虽然这样不会被外部引用，但是还是会在上面保留太多垃圾数据

[ch2]

@wunonglin #2 定期扫表简单粗暴但是好用

[wunonglin]

@ch2 #4 😆最终办法。就是想知道有没有什么优雅的做法

[eason1874]

@wunonglin 留着其实也不会占用太多空间，任务式的，等用户下次上传新文前，询问怎么处理旧的上传记录。允许最多同时上传 3 个文件，那一个用户最多也就滞留 3 个文件。

看需求吧，要清理，定时任务最有性价比，用 S3 事件会多很多请求。

[yin1999]

可以试着配合 Lambda 函数使用，AWS 的 S3 是有 Lambda 的触发器的，那可以确定用户已完成文件上传，后面到底走一个怎么样的流程就看你自己了