建立开源镜像站，学院给 3W 经费，该怎么配置硬件呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3127 天前的主题，其中的信息可能已经有所发展或是发生改变。

需要特别说明的是，不同于大多数开源镜像站，我们并不把提供 Linux 镜像作为重点——我们认为现有的国内镜像都在这方面做的很好了，所以目前不需要提供重复的服务（主要是没钱啊 o(╯□╰)o

我们计划为一些缺少国内镜像的服务建立镜像，目前规划是： Android SDK/NDK, Packagist, maven, MongoDB, HHVM, Hackage, Homebrew, OpenStack, Docker, bower, CocoaPods 等。我们希望补全短板，而不是盲目跟风 :-)

目前还没有企业赞助；老师拿自己科研经费 3W 来支持我们的镜像，于是这 3W 该怎么购置硬件呢？自己并没有这方面经验，前来请教大家。目前暂不考虑带宽问题。

我想到的主要问题是，存储空间需要多大？需要 SSD 吗？大家使用某个镜像的话，主要看中稳定性、安全性 or 速度？我们这边购置硬件的话应该侧重于提升哪方面？是否有必要全用廉价设备搭建一组可 fallover 的服务器？等等。希望大家给出建议，谢谢~

第 1 条附言 · 2015-09-30 22:31:04 +08:00

学校这边要求品牌机 o(╯□╰)o
预算提到了 4W ， 4W 封顶，目前配置如下，请求大家拍砖：

DELL PowerEdge R720
CPU ：英特尔® 至强® 处理器 E5-2620 v2 2.1GHz, 15M 缓存, 7.2GT/s QPI, Turbo, HT, 6C, 80W
内存： 2 × 16GB RDIMM, 1600Mhz, 低电压, 双列, x4 带宽
RAID ： RAID10 ， PERC H710p 集成 RAID 控制器, 1GB NV 缓存, 迷你型
硬盘： 4 × 4TB, 近线 SAS 6Gbps, 3.5-英寸, 7.2K RPM 硬盘 (热插拔)
网络适配器： Broadcom 5720 QP 1Gb 网络子卡
附加网路适配器： Broadcom 5719 QP 1Gb 网络接口卡
电源：双个, 热插拔冗余电源 (1+1), 495 瓦

镜像

镜像站

开源

硬件

82 条回复 • 2015-10-20 15:40:31 +08:00

gangsta

2015-09-30 18:30:14 +08:00

树莓派的考虑么?

emric

2015-09-30 18:32:05 +08:00

十分想要 Openwrt 的镜像.

jhaohai

2015-09-30 18:33:11 +08:00

学校有虚拟化平台吗，直接申请虚机先跑着

qiuai

2015-09-30 18:38:45 +08:00

三万里是否包含带宽费用?
存储空间按你开的列表.2TB 都用不掉吧
SSD 没必要.要不然你三万还不够存储的.
看重的最主要是速度,然后是稳定性.安全性还好吧.
如果不用考虑带宽的部分,那你也没什么好提高的啊...
镜像服务的在线率只要有 99.9%就差不多.所以宕机了重启就是了.没必要组服务器阵列.

我有个 mirrors.im 本来是准备做的.但是算了算.带宽的费用就吓尿了我了...哈哈哈

meryhuang

2015-09-30 18:39:25 +08:00 via Android

andriod 好像有学校做， http://www.androiddevtools.cn/

breeswish

2015-09-30 18:42:53 +08:00

@qiuai 不含带宽费用，应该可以和网络中心申请到资源 :-)
有没有什么具体硬件推荐？在这方面接触的很少，没有经验，求推荐
目前经费就这些 😂，希望可以初期就走在正确的路上，要不然一拖就是好久 o(╯□╰)o

@emric 谢谢提出，会考虑的

@gangsta 这方面完全没经验，不敢呀 =。=

songjiaxin2008

2015-09-30 18:43:38 +08:00 via iPhone

php composer 还有 op 镜像这两个国内貌似都没有

breeswish

2015-09-30 18:47:01 +08:00

@songjiaxin2008 谢谢， Composer(Packagist) 已在列表里 :-) 以及 op 是什么？见识浅陋求赐教…

zonghua

2015-09-30 18:48:36 +08:00 via iPhone

破学校连一个电子邮箱系统都没有

qiuai

2015-09-30 18:48:58 +08:00

@breeswish 买个 DELL R720.配满硬盘做 RAID5.剩下的钱做个网站.打打广告..挺好的.

songjiaxin2008

2015-09-30 18:55:49 +08:00 via iPhone

@breeswish openwrt

Starduster

2015-09-30 18:58:25 +08:00

我觉得 nginx 不错，安卓相关的同步流量巨大的感觉

songjiaxin2008

2015-09-30 19:00:41 +08:00 via iPhone

@Starduster 全量镜像确实反代可能更适合但貌似违反了相关规定

echo1937

2015-09-30 19:04:18 +08:00

如果学校有机房，搬台普通服务器或者 PC 都行，电费和网费都不用你出吧。

如果是自己负责机房和网络，那还是买台阿里云什么的虚机吧，买 Server 找托管实在不靠谱。

Starduster

2015-09-30 19:05:17 +08:00

@songjiaxin2008 反代谷歌首先你需要一个大流量境外跳板然后还有被查水表的风险

感觉没必要 SSD ， RAID 做好就行

breeswish

2015-09-30 19:25:31 +08:00

@echo1937 对的，有机房，电费网费不用出， 3W 投入硬件就行
@Starduster 流量应该不是问题~

virusdefender

2015-09-30 19:32:41 +08:00 via Android

学校真好

yexm0

2015-09-30 19:40:11 +08:00

稳定第一啊,像中科大的无污染 dns 一样动不动就下线升级 /维护什么的真受不了.

twl007

2015-09-30 19:57:17 +08:00 via iPhone

不是泼冷水 3W 真不够现在手边一个奖金 24w 的都不敢做……

一个合格的存储都不止 3W 了 ubuntu 自己有个镜像硬件要求最低都是双机热备的……

lrvy

2015-09-30 20:02:57 +08:00

还有 pip npm 啊

wsy2220

2015-09-30 20:06:24 +08:00 via Android

openwrt+1

breeswish

2015-09-30 20:13:54 +08:00

@lrvy npm 可以使用 npm.taobao.org

deyu260

2015-09-30 20:21:14 +08:00

淘宝买 2 个二手服务器双电源版塞满硬盘足矣预计花费不了 1 万元 keepalived+rsync+nginx 反向代理足矣剩下的一台 mac 一个 i6s 一个 ipadair2 完美

gux928

2015-09-30 20:36:12 +08:00 via Android

@deyu260 棒棒哒。。。

htfy96

2015-09-30 21:18:18 +08:00

又见到熟人了……想知道你们是怎么申请成功的？

maskerTUI

2015-09-30 21:23:14 +08:00

硬盘买好买多一点，服务器能用就行

lewiseek

2015-09-30 21:27:35 +08:00

openwrt 来一发

breeswish

2015-09-30 22:01:30 +08:00

@htfy96 因为申请成了国创

wy315700

2015-09-30 22:26:56 +08:00 via Android

居然还有经费，好羡慕。我们都是各处找赞助，，

emric

2015-09-30 22:43:49 +08:00

我刚去问了运维, 他说瓶颈在宽带, 几年前的机子组个 RAID10 丢上去就行.

emric

2015-09-30 22:47:43 +08:00

看了楼主的附言, 这个机子肯定没有问题...

breeswish

2015-09-30 23:03:05 +08:00

@emric 非常感谢！:-)

tennix

2015-09-30 23:58:12 +08:00

如果有心且有精力，可否把这个 http://static.rust-lang.org/dist/index.html 也做一下镜像，国内下载太慢了

xlvecle

2015-09-30 23:59:09 +08:00

来个 maven 仓库吧, 楼主需要搭可以联系我帮忙~~

sleeperqp

2015-10-01 00:04:49 +08:00

点个赞~

chunchu

2015-10-01 00:05:11 +08:00

NetBSD 国内好像也没有镜像…

aveline

2015-10-01 00:27:31 +08:00

HHVM 我们这有 ... http://mirrors.noc.im/hhvm/

lincanbin

2015-10-01 00:29:30 +08:00

话说镜像站是如何做文件校验的？
经过了之前的 XcodeGhost 后。

binux

2015-10-01 00:30:28 +08:00

留点钱换硬盘

chengzhoukun

2015-10-01 00:32:45 +08:00

pip npm composer 这几个用的比较多

GeekTest

2015-10-01 01:53:15 +08:00 via Android

买 10 个 Pi2 便宜好用。镜像用 E5 真是土豪

poke707

2015-10-01 01:55:56 +08:00 via Android

有 docker ？支持！

breeswish

2015-10-01 06:33:34 +08:00

@GeekTest 老师这边要求用品牌机估计也是考虑到出了问题有人擦屁股…

imxieke

2015-10-01 08:01:00 +08:00 via Android

@emric 中科大有的，其实楼主完全可以使用云存储代替，比方七牛现在就有一个 5T 流量 1T 存储的赞助，楼主可以前期试试

breeswish

2015-10-01 08:59:08 +08:00 via Android

@imxieke 谢谢，不过我们这里云存储报销比较困难，经费是硬件购置费用

msg7086

2015-10-01 10:12:29 +08:00

@qiuai 2T SSD 也只要 1000 刀， 3w 不够存储是哪来的？

breeswish

2015-10-01 10:45:23 +08:00

@msg7086 单个没问题，来个 RAID 就不够啦

qiuai

2015-10-01 11:11:26 +08:00

@msg7086 你不算 RAID 么?

msg7086

2015-10-01 11:19:03 +08:00

@breeswish
@qiuai
→_→ 镜像还做 raid 。
就算 2 块盘做 R1 也就 2000 刀啊， 2000 怎么也没过 3w 吧。

qiuai

2015-10-01 12:08:33 +08:00

@msg7086 SSD 的损坏估计你没遇到过才会说这种话.
而且存储并不只是硬盘.一台 R720 再加上 3 块 SSD 做 RAID5.然后加足 ZFS 要用的内存.
30000 还不够呢......只是起步而已...

pmpio

2015-10-01 12:16:23 +08:00

加个 https 吧，方便移动宽带的人下载。。。。

feather12315

2015-10-01 13:26:27 +08:00 via Android

估计楼主快哭瞎。
我们学校的镜像，从法国同步，三天两头同步失败。
不过用的人少，基本都是本校在用，免流量嘛

skyun

2015-10-01 13:33:04 +08:00

建好了务必在此分享。已收藏。

skyun

2015-10-01 13:33:11 +08:00

感谢

msg7086

2015-10-01 14:09:44 +08:00

@qiuai SSD 做 raid5 ？你确定？还要上 ZFS ？

这只是个镜像好吗，这样的人设真的没问题吗？

我是不知道对于一个大部分只读的 SSD 环境， SSD 的损坏率是有多少，不过现在这么多 VPS 厂商都在跑 SSD 小机来看，要是损坏率像你说的那么可怕的话，那就都别混了。

你要冗余的话， 256Gx8 做硬件 RAID 6 好了，够安全了吧？

算下成本， R730 标配是$2000 ， 8 片 256G 按照三爽 PRO 来算是$1160 ，加点乱七八糟的配件， 3w 问题并不大。要是你觉得看不上 PRO ……那就没法谈了。

qiuai

2015-10-01 14:21:43 +08:00

@msg7086 我不知道你的价格哪里来的...麻烦去国内网站上去看价格...然后请带上发票...

然后其实根本没必要纠结这个.SSD 对于镜像服务来说,上不上区别不大.

30000 的价格.一台服务器.配上硬盘,加上内存.怎么也都够用了.上 RAID 主要是为了降低因为硬盘故障导致的宕机时间.如果连这个都无所谓.那淘宝买个二手 R410,挂 2 个 2TB 希捷.不也照样跑的很欢快么...其实我就想过这样做.只是带宽太贵而已.

好了.别纠结了.

breeswish

2015-10-01 14:24:25 +08:00

@msg7086 确实一直在纠结使用 HDD 还是 SSD 好，诚然对于镜像来说可能随机访问较多，然而觉得基于现有的网络带宽情况应该 HDD 够了，以及 HDD 可以有更大的空间，所以没有上 SSD 。

@pmpio 嗯嗯

akira

2015-10-01 14:33:44 +08:00

内存 CPU 都高配了吧，硬盘你确定需要做到 raid10 ？
另外带宽费用才是大头，这个有考虑么。

breeswish

2015-10-01 15:00:51 +08:00

@akira 带宽现阶段是和学院网络共用千兆网络，考虑和网路中心协商获得更好的带宽…

codeninja

2015-10-01 15:27:09 +08:00 via iPad

树莓派集群加 u 盘阵列足矣

2015-10-01 16:57:43 +08:00

http://www.opencas.org/

billwang

2015-10-01 18:01:49 +08:00

楼主还需要考虑后续费用，比如购买备品备件等，一般一台靠谱的服务器得 10w 了， 3w 下来只能一台还捉襟见肘了，这样你升个级或者检修啥的系统就得下线。已损坏配件一般都是电源和硬盘，建议整两台便宜的组成负载均衡，毕竟只是提供下载。

defunct9

2015-10-01 19:37:07 +08:00 via iPad

R720 属于停产的型号， R730 吧

breeswish

2015-10-01 19:39:28 +08:00

@defunct9 R730 好贵 o(╯□╰)o … HDD 组 RAID10 转眼间就超过 4W 了…

defunct9

2015-10-01 19:57:07 +08:00 via Android

@breeswish 你可以 list 出来硬件，我去让 dell 给你批一个直销最低价。恰好认识 dell 的，所谓 r720 停产就是那边的消息。

defunct9

2015-10-01 19:58:42 +08:00 via Android

对了，也可以买浪潮的，最近浪潮把 dell 打得够呛。

msg7086

2015-10-01 21:20:27 +08:00

@breeswish
@qiuai
这种需求的话 HDD 基本是够了，再不济的话拿 RAID 卡做个 Tiered storage 。低成本高可靠的做法很多，不一定要用单台筋肉来堆性能。
国内的硬件售价具体不清楚，毕竟涉及到进口税，增值税，销售税，奶茶税，回扣等等各种额外开销。
只是做镜像的话，随便弄个 SSD-Cached 独服就能做了，有位置的话扔一堆 i3 做负载均衡都行。

@billwang 3w 预算进 v2 ，银河集群抱回家。

msg7086

2015-10-01 21:21:28 +08:00

@msg7086 补一句：上面那些回复只是吐个槽罢了。

qiuai

2015-10-01 21:24:02 +08:00

硬盘真有必要这么大么....
@msg7086 国内...很神奇的...

secondwtq

2015-10-01 22:46:10 +08:00

@echo1937 哈哈哈 naive ，我们现在的托管费用还没着落。

zsj950618

2015-10-02 00:06:07 +08:00 via Android

以 USTC Mirrors 的经验来看，建议加一块 SSD 作缓存，不用很大。我们用的是 256G 的，但效果很明显的。

zsj950618

2015-10-02 00:15:50 +08:00 via Android

另外如果你们网络中心答应你们带宽的要求的话，服务器和存储也直接找网络中心啊。。硬件的钱和带宽比起来都是小钱，还怕他们不给你们硬件?

breeswish

2015-10-02 07:53:42 +08:00

@zsj950618 目前是学院给了带宽 😂 网络中心要进一步协商 OTL

neo2015

2015-10-02 17:58:46 +08:00

pod

yuchting

2015-10-04 22:19:07 +08:00

看完评论，只想说，撸主和校方功德无量~求架好后给个链接……

JoshOY

2015-10-09 17:28:57 +08:00

@breeswish BW 你不弄个 pip 源吗 _(:з」∠)_

breeswish

2015-10-09 20:58:15 +08:00

@JoshOY 不玩 py 诶 _(:з」∠)_ 你也来搞吧

rebuilder

2015-10-10 13:27:45 +08:00

dell 什么的， RAID 卡什么的， das 什么的，还是算了吧， 3w 恐怕只够支撑你的存储开销。

自己拼一台或两台服务器，一台做服务，一台做存储。

然后上 zfs 软阵列，多折腾来保证同等的控靠性和可用性，毕竟经费有限。

yxwzaxns

2015-10-17 08:20:39 +08:00 via Android

lz 的镜像站做的怎么样了

breeswish

2015-10-17 13:41:25 +08:00

@yxwzaxns 硬件下来估计要几个月 /w\
现在在缓慢折腾软件部分，学校课程太多，并没有特别多时间

yxwzaxns

2015-10-17 23:30:28 +08:00 via Android

有 qq 么，有问题请教

nyacat

2015-10-20 15:40:31 +08:00 via Android

CPU 不是问题.....主要看网卡跟硬盘，主板的 IO 吞吐也很重要.....内存也无所谓，堆 raid10 就是了....