V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  zidian9  ›  全部回复第 4 页 / 共 5 页
回复总数  87
1  2  3  4  5  
真的大佬哪里有时间天天刷 twitter,回 V2EX 啊
2018-12-04 10:59:26 +08:00
回复了 hayanami 创建的主题 程序员 开发时是否要对不确定的需求进行细致的完整开发
另外你做得好的话,他们以后也会用到。抽奖是运营的基本手法。如果你做的很抽象,比如支持自定义配置奖品和中奖概率,以及增加抽奖机会的条件自定义。运营人员简单配一下,就能使用,简单好用。那可以做到的事情有很多,比如只配置一个奖品(比如 VIP ),然后设定满足什么样条件(比如注册时间晚于多少,认为是新用户)的用户能参与抽奖。然后中奖几率 100%。等等可以做的事情很多,看工程师的抽象能力。如果做得好,运营们会实用的。工程师也应该具有技术推动产品、运营的能力。
2018-12-04 10:53:26 +08:00
回复了 hayanami 创建的主题 程序员 开发时是否要对不确定的需求进行细致的完整开发
有必要,具有高级的抽象能力是工程师的进阶之路。来个需求就搞个需求,不考虑后续的演化是外包做的事情。
2018-11-13 12:45:30 +08:00
回复了 viator42 创建的主题 Nintendo Switch 想入台 switch,发现这玩意其实没多少游戏可玩
switch 要跟朋友们一起玩呀
查询尽可能不要连表查,可以先查一张表,再通过键 in 的方法查别的表,在程序里写逻辑组装数据。
另外做好 db 索引。
2018-10-20 16:42:05 +08:00
回复了 ibufu 创建的主题 职场话题 请问有没有团建旅游费用全包的公司?
团建难道还要自己出钱?
那请假吧
2018-10-20 14:14:35 +08:00
回复了 tatsuhir0sato 创建的主题 职场话题 找工作碰壁了
我也是秉承着“记它干嘛?用到再谷歌好了”的原则
基础理论知识学扎实,要用啥包,包怎么用,谷歌下。
要是没合适的包,也能自己写
2018-10-19 20:39:44 +08:00
回复了 CharlieBrown 创建的主题 Python 爬虫工程师这个岗位是否对新手很不友好
@locoz
1. 无法破解的 js uglify
https://jscrambler.com/

2. 解不了的 js,了解下 cloudflare 的防爬策略,就是下发一个动态的 JS,目的是反爬虫,你需要上一个 node 去运行这个 js

3. 成本高,规则不透明
比如我这里有滑块验证,拖动验证,点击图块等 N 种人机验证,在某些情况下出现 A 验证某些情况下出现 B 验证,你现在做逆向,开发,可能你刚开发完,去大规模部署完之后,运行一段时间,发现新的 C 验证,那么你要重新继续开发。
开发成本高。
2018-10-19 15:45:55 +08:00
回复了 harizon 创建的主题 奇思妙想 为什么有的人如此焦虑?
可能是价值观问题。
想要变得厉害,是每个人都希望的。
如果厉害是钱多的话,那永远没有止境,世界六十亿人,每个人财富排名都有他的位置。

其实开心才是最大的财富。有了开心幸福,就有了最大的财富。
我不怎么羡慕有钱的人,我只羡慕幸福的人。

楼主可以陪朋友健身。健身这件事情,无论贫穷还是富有,很公平,只要付出就一定有回报。这样的事情在人生中不多。所以,陪他健身,看自己的身体一天天变化,会开心起来的~
2018-10-19 15:39:17 +08:00
回复了 yo0o0o0 创建的主题 奇思妙想 求个自动倒水的设备
牵一根管子接到嘴里,想喝的时候吸两口
2018-10-19 15:37:25 +08:00
回复了 CharlieBrown 创建的主题 Python 爬虫工程师这个岗位是否对新手很不友好
@CharlieBrown 输出换行\n 不太理解是啥意思
微信的目的是解决人的孤独。微信的启动页面一个人站在月球上看地球。
发朋友圈的人,他的目的,也是分享生活解决孤独。
既然你并不孤独,那么不需要微信朋友圈。

说的更开,假如你很强(内心和经济),不需要朋友,那么不需要去维护朋友关系。
朋友关系说白了是给你内心和生活上的一种互相帮助。

如果你的家人希望你“合群”。他们可能觉得你“合群”能更好的发展(事业),更开心的生活。如果他们认为的是对的,那么可以考虑下他们的想法。
如果他们认为的不对,也可以考虑下他们的想法,就当是让 他们开开心,毕竟,家人还是很重要的嘛。
2018-10-19 14:40:44 +08:00
回复了 CharlieBrown 创建的主题 Python 爬虫工程师这个岗位是否对新手很不友好
@wc110302
@CharlieBrown
headless 理论上不被发现。被发现只是市面上 headless 浏览器有一些特征。理论上自己开发的 headless 浏览器可不被发现。占用资源,跟运行慢在大规模部署下不是太大问题。
OCR 只能解决很少一部分验证码问题。滑动验证,变形字符验证码都不好解决。

简单讲,防爬有很多手段。然而作为一个公司要爬数据,去应对每种防爬手段,给出应对方案,都需要巨大的成本。在我看来是典型的性价比很低的工作。

容易爬的网站,三两下就能爬取到数据。有防爬的网站,要付出很大的努力,也不一定能成功。这个“不一定”,导致我不会去破解复杂的网站。
爬虫这个工作,我认为是不适合职业道路发展的。至少在我们这里,不会有人专门搞爬虫。当然,设计和实现通用的爬虫系统除外。在我看来,爬虫就是针对于不同的网站,写脚本。难以复用。并且网站一旦发版更新,就要修改脚本。是一个十足的体力活。
2018-10-19 13:20:41 +08:00
回复了 CharlieBrown 创建的主题 Python 爬虫工程师这个岗位是否对新手很不友好
@wc110302 最简单通用的方式是用 headless 的浏览器,完全模拟人工操作,增大 IP 池,降低访问评率。缺点是效率低,资源成本高
2018-10-19 13:17:30 +08:00
回复了 CharlieBrown 创建的主题 Python 爬虫工程师这个岗位是否对新手很不友好
@CharlieBrown 并不是,精通 JS 不是万能的。
1. 如果网站的 JS 有(黑盒) uglify,读懂他的 JS 非常困难,成本非常高
2. 存在解不了的 JS,比如 cloudflare 动态下发的 JS (动态下发一个 JS,每次都不一样),无法破解
3. 就算把 JS 取出来,用 V8,node,之类的引擎去运行,也只能解决构造请求的问题。

各种验证码,人机验证。IP 限制,请求频率限制的防爬手段依然难以解决。
2018-10-18 15:16:33 +08:00
回复了 CharlieBrown 创建的主题 Python 爬虫工程师这个岗位是否对新手很不友好
爬虫入门简单,后面不容易。如果是科班出生的,编译原理,计算机网络,HTML,CSS,JS,汇编,JAVA,安卓开发都学过的话,TMD 很多时候还是不容易。
如果网站有反爬虫,做爬虫是个玄学,类似于“网络攻防”之类的玄学。
现在我在阿里做后端,防止人家爬虫加 滑动验证(利用机器学习做鼠标轨迹的人机验证),加规则:A 秒内单 IP 访问 B 次弹人机验证等等,现成的方案随手就加了。搞爬虫的就辛苦了。
本科学的信息安全,所以那个时候研究了很多爬虫的技术,现在工作中有时候也需要做爬虫,不过一般都是找一些歪门邪道(如目标分享出去的 H5 页面,APP 端页面)的接口去抓数据。直接正面抓数据只要人家网站不想让你抓的都挺困难的。
欢迎交流~
2018-10-18 14:41:17 +08:00
回复了 ericgui 创建的主题 程序员 我已经放弃抱怨了
我做后端,老的线上项目,项目人员离职,一个烂摊子,改 N 多 bug,吃屎的感觉。
bug 怎么改也改不完。最后索性全部推倒重构重写,入口接到新的服务里面。再也没有吃屎的感觉了,舒服多了。
2018-09-07 14:45:06 +08:00
回复了 Lynalmost 创建的主题 职场话题 秋招 offer 求比较,腾讯和阿里
毫不犹豫蚂蚁,杭州房价低,幸福感高。

我在杭州阿里

在深圳腾讯的同学难以买房
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5527 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 01:38 · PVG 09:38 · LAX 18:38 · JFK 21:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.