V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  kingmo888  ›  全部回复第 15 页 / 共 23 页
回复总数  454
1 ... 7  8  9  10  11  12  13  14  15  16 ... 23  
2017 年 5 月 10 日
回复了 kingmo888 创建的主题 Python Python 多进程写入的疑问,求助。
@dqw 现在的瓶颈是计算应该是。请问线程或进程绑核怎么搞。。
2017 年 5 月 10 日
回复了 kingmo888 创建的主题 Python Python 多进程写入的疑问,求助。
@dqw
您看,我的需求是这样的:
数据已经按照类别放到了多个 HDF5 里,其中某个文件是 30G 左右( d1.h5 ),其中 d1 里面有 5000 多个 table。

计算逻辑:
一个基类,按照不同的需求分为 N 个子类。
之前是这样的:每一个子类读取 d1.h5,循环读取所有 table,然后计算。

哪种方式更合理呢?谢谢。
2017 年 5 月 10 日
回复了 kingmo888 创建的主题 Python Python 多进程写入的疑问,求助。
@dqw 多线程是不是在一个进程之下了?我的需求是有大量的数据需要计算,同时数据还很多(几十 G ),需要迭代计算的。所以运算次数相当之多。

这种情况下,用多线程可以吗?


为了解决 I/O 以及计算耗时问题,已经买了一个带 SSD 的 24 核塔式服务器。
2017 年 5 月 10 日
回复了 kingmo888 创建的主题 Python Python 多进程写入的疑问,求助。
@dqw 是的。我验证了这个问题。还有一个问题,请看这段代码:
```
import pandas as pd
import os, time
import multiprocessing
import numpy as np


class Mutilprocess_Test:
def __init__(self):
print('init:',os.getpid())

def run(self,i):
timesleep = np.random.rand()/3
#print()
time.sleep(timesleep)
print(i, 'run:', os.getpid(), timesleep)



if __name__ == '__main__':
pool = multiprocessing.Pool(processes=3)
for i in range(10):

pool.apply_async(Mutilprocess_Test().run, args=(i,))
pool.close()
pool.join()
```
这段代码中,类初始化时候的 pid 和 run 时候的 pid 不一样。

貌似 init 时的 pid 是主进程的。请问这是什么原因或者说应该怎样去理解呢?比如多进程运行不同的类——可能基类是一个,派生类不同,这时候如何对一些数据库连接、相同部分的数据调用的代码进行存放呢,是放到 init 中,还是放到 run 里各自取?

二者的区别会否导致数据都到各自进程下?

比如说,我有一个字典 d1,实际上所有子类都有用到这个字典 d1,这时候我把他放 main 进程中好,还是在 init 中初始化好,还是在 run 中好呢?
2017 年 5 月 9 日
回复了 kingmo888 创建的主题 Python Python 多进程写入的疑问,求助。
@ltux 感谢,我表述有问题。直接上代码

https://gist.github.com/kingmo888/a7cdc36f77397f65ac19fb49f5795814

这种情况下,不会写入任何东西。
2017 年 5 月 8 日
回复了 kingmo888 创建的主题 问与答 各位大神,我准备某宝买一台计算服务器,求指教。
@alcarl 嗯啊,谢谢。请问价格上有坑没?我朋友从上海的一家实体店买的(这家店也有淘宝),经转介绍,其给我报价比主贴要高 10%左右。
2017 年 5 月 8 日
回复了 kingmo888 创建的主题 问与答 各位大神,我准备某宝买一台计算服务器,求指教。
@adcicloud 我要买物理机本地存放,跟运营商神马关系

@firefox12 就是自己买,放本地局域网。
2017 年 5 月 8 日
回复了 kingmo888 创建的主题 问与答 各位大神,我准备某宝买一台计算服务器,求指教。
@alcarl V2 啥意思? 2683V3 实际上跟测试版就差别了一点点,价格翻倍噢。

32G 内存 1700 左右,而 16G 内存,800 多。实际有差别吗,没有的。
2017 年 5 月 7 日
回复了 kingmo888 创建的主题 问与答 各位大神,我准备某宝买一台计算服务器,求指教。
@daolin998 我是用于计算用。没有托管需求。
2017 年 5 月 7 日
回复了 kingmo888 创建的主题 问与答 各位大神,我准备某宝买一台计算服务器,求指教。
@Phant0m 二手服务器?刀片的吗?我不方面放啊,没机柜。我得塔式的,搁到随便个地方容易放啊。
山东济南联通,打开很卡。
2017 年 4 月 29 日
回复了 kingmo888 创建的主题 云计算 谷歌的那个计算引擎,我改 windows 了。
@zander 最终试了一下 google driver。上传很快,下载更快 100M 的速度。话说,国外的带宽不花钱啊。


@msg7086 免费期嘛。我这个配置一个月$130,主要是 windows 授权费要$60
2017 年 4 月 28 日
回复了 kingmo888 创建的主题 云计算 谷歌的那个计算引擎,我改 windows 了。
@zander 哪有按天的啊。
2017 年 4 月 28 日
回复了 kingmo888 创建的主题 云计算 谷歌的那个计算引擎,我改 windows 了。
@zander 百度盘快嘛?我本地下百度盘可是很慢的有限速貌似。
2017 年 4 月 28 日
回复了 kingmo888 创建的主题 云计算 谷歌的那个计算引擎,我改 windows 了。
@chroming 呃,就是说,我这傻瓜实在搞不了 linux。。破罐子啦

@zander 同上。
@zhihaofans 再同上。


PS: 数据传输好渣渣,10G 数据需要传,结果上穿速度 10K/S
@davidyin 哈,有种“这个人懒到家吧,不会就来问”的感觉把。
实际上,我是真心无力的。就是看的 google doc ,没有成功,各种搜索还没有成功才来问的。

举个例子,网页 SSH 连接:

![卡在这根本不动]( http://pic.cdn.lizenghai.com/uploads/2017/04/gce.png)
@RihcardLu
@jolonsharp
@akring
感谢你们。主要就是因为,我在网页上点 ssh ,弹出的窗口上,一直是黑的,无反应。

@woshinide300yuan 你这不支持 ubuntu 哈。
@Tink google 的是哪个计算引擎的 vm 实例吧。


我下了一个 putty ,生成了密钥和公钥,然后传到了 google 后台元数据中。连不上。
@Tink 嗯,首先谢谢你。
我没表述好。
现在连机器我都连不上,后续操作?那是什么。
@yhxx 不管做什么,比如买一台电脑,连开机都不会,这就搞笑啦。
1 ... 7  8  9  10  11  12  13  14  15  16 ... 23  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2765 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 15:16 · PVG 23:16 · LAX 08:16 · JFK 11:16
♥ Do have faith in what you're doing.