V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chanlk
V2EX  ›  服务器

海外如何自建 S3?

  •  
  •   chanlk · 5 天前 · 1512 次点击
    公司的业务需要大量使用对象存储,目前在 AWS 的账单已经超过了 EC2 和流量了。

    如果自建 S3 ,需要做哪些准备?(数据必须在美国)

    我们公司的运维能力比较弱(我是开发),没有相关人员驻扎在美国,需要尽可能小的降低运维成本。

    目前了解到的软件是用 Minio ,其他硬件、机房、宽带等系列问题不太清楚要怎么弄。

    PS: AWS 是真贵啊!
    第 1 条附言  ·  5 天前
    我看了这个博文才想到自建的 https://vonng.com/cn/blog/cloud/s3/
    文章提到:自建的成本是 aws 服务商的 0.5 ~ 1 折。

    这个文章没提到关键的硬件、机房等部分,可能他们已经有成熟的机房了吧,而且也是国内的。

    看来还是不适用我的场景(量还是不够吧, 百级 PB 以上才合适?)
    更换费用更低的服务商也许是比较靠谱的选择。
    32 条回复    2024-12-07 15:46:30 +08:00
    qishua
        1
    qishua  
       5 天前
    没看明白你的具体需求,是 s3 的费用很贵,还是说你们没用 s3 ,在 aws 上买的 ec2 ,然后自建 minio ,然后访问
    qishua
        2
    qishua  
       5 天前
    要是只想换对象存储的话,推荐换阿里云 or 腾讯云的对象存储,费用差不多比 aws 便宜一半左右
    chanlk
        3
    chanlk  
    OP
       5 天前
    @qishua #1 用了 s3 ,但还是贵的,我们数据太多了,PB 级的
    aru
        4
    aru  
       5 天前
    先确定下你们的规模和现在的费用吧

    可以换其他家的 s3 服务,可以便宜很多
    https://www.backblaze.com/cloud-storage/pricing

    自建你得先找个懂的人聊聊,然后招一个全职运维
    chanlk
        5
    chanlk  
    OP
       5 天前
    @qishua #2 已经有一部分迁移到甲骨文的云上,但还是贵,所以考虑自建了。
    qishua
        6
    qishua  
       5 天前
    完全自建的话,则需要找下国内的供应商,租对应地域的 idc 服务器,这个费用和云厂商对比起来,并不会优惠更多。
    你也可以考虑小的云厂商,ucloud 、金山云等等。
    qishua
        7
    qishua  
       5 天前   ❤️ 1
    @chanlk 那你们需要招个全职 SRE 了,然后根据你们预算,来选择是否两地多活。
    自建的话,可以找一些国内做出海业务 IDC 机房的厂商,租用他们的服务器,这样服务器的高可用 or IDC 的容灾管理交予他们了。你们只需要负责好服务器加服务器上面的业务即可。
    两地多活,则推荐选择两个不同的 idc 供应商,彼此之间的通信通过专线打通。
    chanlk
        8
    chanlk  
    OP
       5 天前
    @aru 数据大概在 10PB ,费用大概一年要 100W+的 S3 费用吧(我们公司小哈)。
    chanlk
        9
    chanlk  
    OP
       5 天前
    @qishua #7 听你这么说感觉这事儿没那么简单
    wei2629
        10
    wei2629  
       5 天前
    多少 pb 啊。自建未必便宜,机房机架网络, 硬盘坏了要有人管, 还要备份。还必须专门培养团队,保证 sla 。 或者外包给 idc 的团队啥。最好还是 认真核算下 。
    qishua
        11
    qishua  
       5 天前
    @chanlk 换到 ucloud 或者金山云吧,然后谈下折扣,费用一年应该能降到 30 万-50 万
    aggron
        12
    aggron  
       5 天前
    不要自建,既然海外用户,用 cloudflare 的 R2 ,不收流量费,api 还没 s3 兼容(大部分)
    shiny
        13
    shiny  
       5 天前
    自建 MinIO 吧,可靠性可以靠 replication
    humbass
        14
    humbass  
       5 天前 via Android   ❤️ 1
    op ,要上 cdn ,aws 的 cdn 的叫 cloudfront ,价格只有 s3 的 1/4 - 1/5
    chanlk
        15
    chanlk  
    OP
       5 天前
    @wei2629 10PB 这样子
    chanlk
        16
    chanlk  
    OP
       5 天前
    @aggron 存的多,取的少,比例估计 10:1, 1TB 的数据只有 100GB 左右被用户召回
    blueswhisper
        17
    blueswhisper  
       5 天前
    楼主家这预算,多家云厂商比价吧。
    100+w 的预算,最多招两个 sre 就没了, 还不算你自建的服务器成本。
    不知道你们这个 s3 存储是干嘛的,如果是常见的静态资源场景,那么上 CDN 应该能帮你们挡掉大部分的费用。 写多读少的话,S3 不同等级的存储也用起来,业务上做些优化策略,也能省点钱。
    chanlk
        18
    chanlk  
    OP
       5 天前
    @blueswhisper 用户的视频数据哈,家用摄像机的。
    zsj1029334
        19
    zsj1029334  
       5 天前 via iPhone
    Ceph 集群,多种支持文件,对象都可以
    blueswhisper
        20
    blueswhisper  
       5 天前
    @chanlk 这种场景的话,你们这就类似于网盘逻辑了。是不是对应服务的定价太低了?或者说定价策略不太合理?

    从楼主的预算推测,短期内你们也没有资源投入到底层存储的建设,这部分技术红利需要适当的投入才能吃到,开源确实有很多解决方案,但是要保证可用性,成本,性能都需要资源投入,不是随便找个开源软件部署下就可以的,否则出了问题一群人抓瞎,对你们的服务信誉打击是毁灭性的。那么你们只能从商业策略上,把这部分的成本通过合理的定价转移给用户。
    ihciah
        21
    ihciah  
       5 天前   ❤️ 1
    S3 有不同的类型,你得根据需求选择合适的,如果可以牺牲一部分延迟的话可以大大降低成本。
    甚至可以分析用户回放频率,以及分析新旧的视频回放频率来调整 S3 存储类型。
    例如 S3 标准类型 $0.023 per GB ,Glacier Instant Retrieval 就只要 $0.004 per GB ,S3 Glacier Deep Archive 甚至只要$0.00099 per GB 。
    dann73580
        22
    dann73580  
       5 天前
    个人项目自建过刚到 pb 门槛的机器,基本上就是租了 8 台机器组了 minio 集群。你们这个体量应该可以和靠谱的 idc 下订单了,我就说一个点,一定要找服务给力的。我之前没经验,遇到个售后不好的 idc,换硬盘就换了三四天,很着急。

    考不考虑去美国的 ovh 租赁杜甫自建啊?大厂还是稳定一些。
    dann73580
        23
    dann73580  
       5 天前
    @dann73580 另外补一句,我觉得如果你们公司每年只有 100 万(人民币?)的预算,10PB 规模可能不够用。按照我的计算,10PB 一个月的开支大概在 2.5W-3W 美元左右,一年要 140+了,这还是纯基础成本。
    dann73580
        24
    dann73580  
       5 天前
    @dann73580 #23 在美国我说一个比较合适的基准价格,每 TB/2.5-3 刀,是自建 S3 的常规价位(包含机器租赁,带宽,机架空间,电力费用等),比这个低,那就说明你的冗余度拉的实在是太低了(低冗余可以做到每 TB/2 刀,但不适合跑关键业务,适合备份),这是一道简单的数学题。更不要说你业务在美国,有没有必要考虑合规问题,选择合适的,有认证的商家,等等等等,我觉得这个事没想的那么容易……
    ZE3kr
        25
    ZE3kr  
       5 天前 via iPhone
    按照你这个需求只需要换成 S3 Intelligent-Tiering storage class 就可以便宜很多
    joynvda
        26
    joynvda  
       5 天前
    安防监控的视频,不适合使用 CDN 。同一视频内容也就是极有限的人看。

    如果是用户付费的视频需求。倒不如提升网络到用户边侧的链路;用户要回看近期,直连过去。
    如果要求长时间保存,才用到数据中心的对象存储。选择 归档类型 会便宜很多。
    caola
        27
    caola  
       5 天前
    读得很少的话,直接在国内弄两台服务器到机房托管就行了,
    如果是面向国际,直接去香港托管也不算贵太多
    dearmymy
        28
    dearmymy  
       5 天前
    minio 建好后使用跟 s3 差不多,如果是纯想便宜,多找几家测试几家不限流量 vps 对比出最合适的把,我觉得初期花钱外包写一个 docker ,还有基础运维脚本,之后你单独就着改就行,出去花万把块找踩过坑的人写下把。自己之后根据清空在去改,有 gpt 也简单很多。
    之前我也是因为存储经常变,s3 实在太贵了,自己买个大流量 vps 自己建了。很好用,省不少钱
    northbrunv
        29
    northbrunv  
       5 天前
    一个 P 不限流量的独服大概一个月 1000 刀,小厂可能有 500 刀,10P 价格大概月付 5000 刀-1w 刀
    年付 6w 刀-12w 刀这个样子。
    100w 如果是人民币的话,折腾半天费用不见得能减掉多少
    SenLief
        30
    SenLief  
       4 天前
    10pb ,估计流量也不小,你这个自建未必会省钱,还必须要招运维。
    zizon
        31
    zizon  
       4 天前
    你先试试分层存储吧.
    冷数据价格砍半.
    ZhiyuanLin
        32
    ZhiyuanLin  
       4 天前
    Backblaze B2, Cloudflare R2, Wasabi, StorJ ,都是 S3 兼容但比 S3 便宜很多。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1099 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 23:29 · PVG 07:29 · LAX 15:29 · JFK 18:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.