V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
z1421012325
V2EX  ›  Python

爬虫在 winxp 上弄一个 adsl vps 拨号器 其中 ip 的端口咋弄????,跟着 squid 设置端口,不行

  •  1
     
  •   z1421012325 · 2019-06-18 17:23:27 +08:00 · 1711 次点击
    这是一个创建于 1763 天前的主题,其中的信息可能已经有所发展或是发生改变。
    本人学习爬虫到需要一定大量 ip 找到一个轮子 https://github.com/z1421012325/AutoProxy


    http://i2.tiimg.com/691087/3c0c93d4b01b0717.png
    http://i2.tiimg.com/691087/023a91be1a9eb0dd.png

    我买了一台 xp 的 adsl 拨号器,搞了个拨号软件每隔 20 秒拨一次号,再用 python 不断循环发送给第二台含有 flask 的固定服务器,发现只有 host 发过来了,port 端口没有,有仔细阅读说端口需要额外设置
    http://i2.tiimg.com/691087/afb8ea950f4f907d.png
    --------------------------------------------------------------------------------
    "注意默认是 8888,你需要用 Squid 或者 TinyProxy 配置下代理,端口是 8888,这里端口 8888 即默认的拨号 VPS 的代理端口,这里配置下保证输出结果自动拼接端口。"

    --------------------------------------------------------------------------------
    xp 上貌似只能用 squid2.6 版本的,也在网上找了一些教程跟着设置端口 8888 或者 3126 https://www.cnblogs.com/zhaowenzheng/archive/2008/08/06/1262252.html ,但是还是不行,我使用第三台发送 vps 拨号拨出来的 host:8888 或者 3126 端口 还是不行,显示的是第三台的 ip

    http://i2.tiimg.com/691087/51c36beec7d9afc4.png

    求救怎么设置端口和有效 ip
    14 条回复    2019-06-20 20:03:50 +08:00
    z1421012325
        1
    z1421012325  
    OP
       2019-06-18 17:30:54 +08:00
    crab
        2
    crab  
       2019-06-18 17:48:25 +08:00
    客户端本来就没发送 port,port 是在服务端 config.py 那边设置固定好,ip + ':' + str(config.PORT)
    z1421012325
        3
    z1421012325  
    OP
       2019-06-18 18:13:23 +08:00
    @crab 那我在含 flask 服务端上咋知道 vps 客户端的端口啊,
    轮子中说的难道是要在 flask 服务端使用 Squid 或者 TinyProxy 设置端口吗?还是随便写一个?
    crab
        4
    crab  
       2019-06-18 18:49:22 +08:00
    @z1421012325 你固定设置一个啊。那是你拨号后得到新 IP,只是 IP 变,端口固定一直那个。(除非你要随机端口)
    akira
        5
    akira  
       2019-06-18 18:54:20 +08:00
    电信一直拨号? 早点放弃这个做法比较好
    z1421012325
        6
    z1421012325  
    OP
       2019-06-18 19:09:01 +08:00
    @crab 不,其实我想问是在 vps 客户端上设置还是在含有 flask 的服务端使用 squid 设置一个端口?
    其实就是这点搞不懂
    z1421012325
        7
    z1421012325  
    OP
       2019-06-18 19:10:06 +08:00
    @akira 怎么?会把这服务器 ban 掉吗?还是有什么缺点?
    z1421012325
        8
    z1421012325  
    OP
       2019-06-18 19:16:29 +08:00
    @crab 我现在再试试 在含 flask 的服务端 用 tinyproxy 按着这个搞 https://www.2cto.com/kf/201806/754303.html
    noparking188
        9
    noparking188  
       2019-06-18 19:25:15 +08:00
    http://zhiweio.me/2017/07/26/dynamic-agent-building/
    https://github.com/PyCN/dynamicAgent
    好久之前我也有过这样的需求,当时写的文章,你有需要可以参考一下
    z1421012325
        10
    z1421012325  
    OP
       2019-06-19 02:12:32 +08:00
    @crab 我这边弄了一个 centos 的 adsl vps 拨号服务器,是要在 vps 端设置端口才行,我先前是在 xp 上使用 squid,现在 centos 使用的是 tinyproxy 设置端口的,xp 上的可能是 squid 设置有问题,所以一直没有弄开端口
    locoz
        11
    locoz  
       2019-06-20 18:08:24 +08:00
    看了一下,应该是你的代理服务器设置有问题,可以直接在代理服务器那台机上连一下 8888 端口试试,如果本机测试可以连上的话就看看防火墙设置,还不行的话估计是 NAT 的问题了,可以按常规的 NAT 打洞操作来搞。
    locoz
        12
    locoz  
       2019-06-20 18:09:35 +08:00
    对了,squid 有白名单设置的,如果没给调用机的 IP 开白名单的话也是使用不了的,不过可以看到 403 页面
    z1421012325
        13
    z1421012325  
    OP
       2019-06-20 19:48:31 +08:00
    @locoz 我设置的是 0.0.0.0/0 都可以访问,但是用不了
    z1421012325
        14
    z1421012325  
    OP
       2019-06-20 20:03:50 +08:00
    @noparking188 这个函数的方法 s.connect(("8.8.8.8", 80)) 什么意思,我还没学这个...看不懂
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5568 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 08:53 · PVG 16:53 · LAX 01:53 · JFK 04:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.