V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  kingmo888  ›  全部回复第 15 页 / 共 21 页
回复总数  402
1 ... 7  8  9  10  11  12  13  14  15  16 ... 21  
2017-03-06 11:29:00 +08:00
回复了 lecher 创建的主题 Tornado pypy 拿到赞助之后出了支持 Python3.5 的版本
@lecher 请问有木有 windows 的?
2017-03-06 10:21:43 +08:00
回复了 lecher 创建的主题 Tornado pypy 拿到赞助之后出了支持 Python3.5 的版本
@lecher 谢谢。我这是 windows 哈
2017-03-06 09:08:48 +08:00
回复了 lecher 创建的主题 Tornado pypy 拿到赞助之后出了支持 Python3.5 的版本
没有找到 pypy for python3.5 的下载地址咧?


以前就听过 pypy ,也装过一次,但是貌似很难达到 anaconda 这种傻瓜式布置环境和模块的程度啊。
自己装模块的时候老是有问题。
2017-03-04 10:26:34 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@wh0syourda66y 同时,我尝试了一下在 put 的时候指定 data_columns ,发现存储速度在下降,文件大小增加了将近一倍。

这种情况就很尴尬了。
每个 code 的数据单独存放,不用指明 index 和 data_columns 读取很快,可以读出来在内存里进行检索。唯一的问题就是通过 XX.keys()来获取所有表名会很慢。是否可以通过单独建一个表存放表名。嘿嘿。

所有 code 数据都存放到一个表里的话,为了检索,就必须使用 data_columns ,否则所有数据都读入内存的话既不科学又撑不住。


不知大神有什么好的思路?
2017-03-04 08:44:19 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@wh0syourda66y 高手你好,我还有一个问题哈,就是存储的模式上,是所有数据都怼到一个表里好,还是分表保存(一个代码的数据一个表这种)
2017-03-03 14:39:29 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@wh0syourda66y 那会报错吗?还是等待写入?如果报错的话,还是需要自己处理的哈,不然的话有的进程就写不进去了。
2017-03-03 14:14:51 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@wh0syourda66y 是这样的,原始文件是大约 3000*255 个 csv 的股票订单数据,

多进程>>>

处理函数(文件路径):
读入一个文件,
处理为分钟数据,
进程锁开
塞入 hdf5
进程锁关
2017-03-03 13:31:25 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@wh0syourda66y 3Q ,确实问对地方了。
ptrepack --complib=zlib test_c4.h5 --complevel=9 out.h5
ok.

还发现了一个问题,请教一下,是不是数据越多,在 put 的时候就越慢?感觉效率不够呀。
越来越慢
2017-03-03 11:22:35 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@wh0syourda66y 感谢你。
刚试了下,
原始文件 1.5M ,没加任何参数的情况下, out.h5 大小为 2.2M 。。
压缩方式上貌似没有 zlib?
2017-03-03 10:41:19 +08:00
回复了 kingmo888 创建的主题 Python 请教:为何重复执行时, HDF5 文件会越来愈大?( Python )
@justou 是的。我是在测试追加来着。但实际上,并没有追加,只是把这个主键重新赋值了。从读取的数据上检查过。

而且,我做新的测试,就是 remove 所有的 keys ,使用 hdfview 查看确实数据都没有了。但是文件大小还是很大。
2017-02-28 14:38:33 +08:00
回复了 19zero 创建的主题 云计算 云舒:给小白的租户隔离科普文
@solidx 感觉你没看仔细。
耗子根据聚石塔的情况说,是在同一内网的。
云舒说,我们确实不同租户有隔离,可 TM 聚石塔本来就 TM 是一个租户,当然在 TM 一个内网里,资源可以访问这再正常不过了。
@bryantandk ok,append
@ovear 你是 app 开发者咯,啥是 xps



@Showfom 有种脱裤子放屁的感觉。等于同时运行双系统,卡不。我金融民工一枚, N 多数据都是几百 G 的,跑一边。心累
@yangyaofei 看来都是开发者用 mbp 么(弄个 mbp ,然后该 win7 的没算在内啊)。

我没用过,汗。。
@jarlyyn 瞧不上那种平板+外接键盘模式啊。就是要用笔记本。。 so...
2017-02-25 16:03:04 +08:00
回复了 Shangxin 创建的主题 程序员 中国软件杯竟然出现了区块链相关题目
就说一句:
我国推行的是货币电子化,而不是接受非官方性质的电子”货币“。
1 ... 7  8  9  10  11  12  13  14  15  16 ... 21  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1115 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 18:07 · PVG 02:07 · LAX 11:07 · JFK 14:07
Developed with CodeLauncher
♥ Do have faith in what you're doing.