V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  markgor  ›  全部回复第 2 页 / 共 43 页
回复总数  859
1  2  3  4  5  6  7  8  9  10 ... 43  
54 天前
回复了 dododada 创建的主题 MySQL mysql 分页计算问题
据我所知京东淘宝的按价格排序从未正确过
54 天前
回复了 bitduke 创建的主题 Android 百度网盘存储文件丢失。
雖然我很討厭百度網盤,但是直接刪除你文件這個我覺得不會吧。
我使用了 2 年,開了 2 年會員,現在改其他了,但之前期間所有數據沒有丟失過。
是否開了同步功能,我記得百度網盤如果開啟同步,本地刪除網盤上也會刪除。
盲猜有標籤未閉合
做个日志吧....
看看分配到 10 台机,每次请求返回的时长是多少,整体完成时间是多少......
先找出耗时的点。
另外确定下是不是对方根据 IP 限速,这部分可以根据上面的测试结果判断,如果每台机实际 QPS 都是 100 ,那可能对方是根据 IP 限制了 QPS ,这个时候上代理池。
1 、测试对方是否限制 QPS ;
2 、测试对方根据什么限制 QPS ?[IP/token/cookies....]
3 、如果能 100%确定对方是没限制 QPS 的话,看看时间消耗在哪里了,这个根据服务器监控和埋点的日志基本可以分析出来。
4 、如果确定对方限制 QPS ,根据限制策略进行调整,如限制单 IP 的 QPS 为 100 ,那[每 100 个地址,就用一个代理 IP] = 1 次任务。

不过说真的,并发 8000 ,不止你们去爬,这访问量挺恐怖的...
有没有一种可能,同行爬取的方式和你们不同,即对方可能一次请求返回所有,而你们没发现只能一个个爬呢?
1 、先测试跳转获取授权这块有没问题,和内置浏览器或 devTool 烂不烂没任何关系,只需要测试自己授权获取代码是否有问题。
2 、第一点自己授权这块没问题后,测试环境直接跳过授权这一块,模拟登录成功,进行业务代码调试
3 、上面都完成了,发布去正式环境,走一次完整流程测试。


"我这个 h5 是想脱离企业微信也能用,如果没有 token ,看是不是企业微信客户端访问,是的话就自动走 oauth 认证自动换 token 自动登录,非企业微信就是直接跳 login 手动登录哈"
>非企微环境下,支持扫码登录;
一般做法是登录的时候,判断 UA ,如果是企微,让用户选择登录方式,一键登录(企微)/账户登录;
如果不是企微环境,选择扫码登录或账号登录。
树林大了什么鸟都有,没必要一竹竿打死一船人;
但就我自己项目上遇到的问题,某个项目和阿里系的对接,
对方技术如何不到我谈论,但是该项目上的业务知识上比我还差.....
有什么问题都是发工单,包括他们自己内部,解决时效一般 3~7 天,久的就是 10 多天以上;
有些时候甚至他们的业务在干着急,但催不了技术。
@lichangmao JetBrains
之前我用这个:jrebel.com.cn
打算存够钱就买正版[狗头]
不过这个的原理好像是 java 全局拦截请求,然后再进行激活,具体不太清楚
可以顺便搭建个全家桶激活吗
@GuluMashimaro
这样...我觉得复杂了.......
非要这样做,关键字:DHCP 中为客户端分配不同的网关和 DNS

我想法比较简单,直接路由上 RIP 加 acl2 写个静态,或者 linux 上通过 iptable 和 route 进行配置。
这样
通过 iptable 或 acl2 表,如果源 IP 是 xxxx 母的 IP 是 xxxx ,就通过 ethx 脚进行投递。

后续你要变更之类的,直接去路由或 linux 上配置就行了。

如果在每台客户端上面做手脚切换拨号,到时候有任何变动都要每台机搞一次。
@GuluMashimaro
懂了,不過你就算找人佈線打頭,40 台機 1K 應該足夠了吧;
我們公司今年搬場,50 台機上下兩層,加上會議室辦公室的入墻線大概 60 個點。
找了弱電的師傅來拉線打水晶頭一共 1.2K ,坐標 GD ,聽說那個是電信的師傅接的外包,打完還一個個頭檢測,挺認真的。
wifi 的話你要考慮帶機量,另外要測量 wifi 重疊區域是否會造成影響,實際使用過程中並不一定穩定,而且樓上也有人說了,混凝土和玻璃對 wifi 信號阻隔不能忽視,過於接近的 wifi 又會導致干擾,如果是 mesh 組網還可能一直跳來跳去。
@GuluMashimaro 我是 10 几年前的时候干过,无线方案肯定也有,但我没试过.
说真的按我之前的项目经验,走 wifi 的话使用期间你肯定一大堆破事要处理,要么说 wifi 信号,要么有信号没速度......
1 个人布线很辛苦,我劝你让公司找人来布线吧,记得让他们水晶头也打了,否则........
如果公司连请人来布线都不舍得,你觉得半年后扩张可信吗.....
@GuluMashimaro cisco 好像是用 rip 命令写对端 ip ,太久了完整命令忘记了,你可以下载个思科模拟器,百度下一个上午就能搭建好模拟的场景,测试下没问题就可以开始部署。 百度关键字 RIP 、cisco packet tracer
cisco 3600 系列二手的估计也就几百元,但是网卡好像只有 100M ;
如果你们有熟悉 linux 的,我反而觉得用 linux 会更好,我们之前是用了一台残残旧旧的 x86 普通主机做了个 router 连接联通,1 年下来都没出过啥事。不过我们当时业务量和对带宽要求不高,IPLC 跨境线路也只有 2M 。
这场景....以前干运维时候遇过.....不是挺简单的事情吗,没 wifi 使用场景的话连 wifi 也不需要。
直接 cisco 上配置静态路由,
根据这 5 个 Intranet 的地址,写死静态路由走哪个脚。
如果涉及到需要控制访问权限,就用 acl2 来控制。
客户端基本不需要做什么,包括切换,分配的是本地的 IP ;
访问对应地址时,路由会根据静态表进行访问。

没 cisco 的话就找台 x86 普通电脑,但 PCIe 接口尽量多的主板,装个 linux ,通过 route 形式写个静态路由,
至于 acl2 在 linux 上如何实现这个我就没试过,但是如果你不需要控制访问权限,直接一条 route 命令就满足了。
65 天前
回复了 markgor 创建的主题 信息安全 吐槽 G01,希望坑里的人数不多吧
@fearMAN 也是抱着这个心理,有问题也有人垫底。

@mytsing520 明白,但也要考虑实际情况,公司接受肯定独立比较稳妥或最方便直接用云 waf 或 ids 之类,但......

@neroxps 之前云服务挂过(底层服务),所以对于资源极限占用都添加了告警信息,短信和微信推送。
65 天前
回复了 chai2010 创建的主题 程序员 凹语言支持 P5 儿童编程
@flyingghost 让他能做自己喜欢的东西不算霍霍,对大家都好;只是国内大多数都是如上面提到的,打着培养兴趣的幌子,别人学什么就让他学什么,最后结果就是孩子失去了童年。
有能力的话,他喜欢的都让他去学去试;但最终选择给他,是否继续;
能力一般的话,精准选择,选择不了宁愿不干预,两个马哥小时候还不是玩为主?
没能力的话,只能主抓学习,把兴趣做个埋点,后续等他有能力再去触发。
当然也要结合孩子实际情况去选择,我自己女儿,小时候抱着玩的心态,被母亲驱动下,又学了芭蕾舞又学了科学(手工),又学了小提琴,又学了画画、又学了毛笔字。
最终结果:
芭蕾舞----压一字马疼,练习累,孩子说不想练,老婆也同意了,到头来只学了一点点。
小提琴-----学了一个学期,还没会演奏一首歌曲,最后和她商量,她表示自己也不太喜欢这个;
毛笔字-----孩子是抗拒的...最终想到日后使用场景有限,还不如买字帖练练字好,就同意放弃了;
画画、手工(科学)-----唯一坚持下来的,因为她自己喜欢。我们只和她说了不影响学习情况下就可以。
儿童编程-----她试过,有点兴趣觉得好玩,但是这次报名之前我专门和她说了,问她自己是否能坚持下来,不需要学的多么出众,但起码需要自己学会,她犹豫了下说还是算了.....

说真的,有时候我也头疼,既想让她多试试不同的,选择自己的爱号深入学习,但是又害怕她习惯了半途而废....
67 天前
回复了 chai2010 创建的主题 程序员 凹语言支持 P5 儿童编程
@flyingghost
是否霍霍 = 孩子喜欢这个 ? 不是 : 是
70 天前
回复了 markgor 创建的主题 信息安全 吐槽 G01,希望坑里的人数不多吧
@neroxps 偶现的还好吧,毕竟持续时间也不算太长。
台式机,win10 ,依然如此;
开着各种 IDE ,微信,企微,qq ;
3~6 天内没问题,6 天后必定各种卡,就好像我现在打字,字都是一个个地跑出来一样。
重启大法后一切恢复如常;
PS:任务管理器查看过磁盘,CPU ,内存 使用率都不高。下次尝试下重启 explorer 。
1  2  3  4  5  6  7  8  9  10 ... 43  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1158 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 23:05 · PVG 07:05 · LAX 16:05 · JFK 19:05
Developed with CodeLauncher
♥ Do have faith in what you're doing.