Java VS Py 爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2254 天前的主题，其中的信息可能已经有所发展或是发生改变。

Java 相对于 Py 爬虫有什么优缺点呀？

目的：学习 Java、爬虫抓取数据，积累数据

Java

爬虫

优缺点

数据

9 条回复 • 2019-06-25 12:58:20 +08:00

ZhengJL

2018-10-22 22:46:01 +08:00

java 写爬虫没有 py 那么方便，简介

murmur

2018-10-22 22:48:44 +08:00

作为爬虫的框架来看现在语言越来越不重要了更多的策略要放在代理池反扒代码分析上

Cellei

2018-10-23 08:31:54 +08:00

增加一个 Go 爬虫，等待大佬分析

brucedone

2018-10-23 10:20:47 +08:00

https://github.com/BruceDone/awesome-crawler

这么多框架，你随便选了，选你自己熟悉的语言然后学习

locoz

2018-10-23 11:49:00 +08:00

Java 写爬虫的缺点就是要写很多冗余的代码，同样的一个爬虫 Java 要写一百多行，Python 只用十行
优点就是碰到某些特殊情况会比 Python 方便一些，比如原本在服务器上跑的爬虫要改成一个 AndroidAPP，核心部分不用动太多就能移植过去了
不过实际上语言并不关键，不同的编程语言发出的请求都是一样的，最终还是要处理反爬，这个就是单纯的分析了，跟你用的语言无关

beryl

2018-10-23 12:28:05 +08:00

@locoz 但是在基本入门、以及对应的工具包和生态上，是不是 java 稍微弱势点，在爬虫方面

smeraldo

2018-10-23 13:57:19 +08:00

拿 jsoup 写过爬虫，还算安逸，代码量是有点多。因为不熟悉 py，所以用 py 写主观上反而觉得有些慢

locoz

2018-10-23 14:28:42 +08:00

@beryl #6 emmm。。非常基础的东西确实是 Python 的比较多一些，但是实际上那些非常基础的东西跟语言的关系也不是很大，生态的话我不用 Java 所以不太清楚

p1094358629

2019-06-25 12:58:20 +08:00

就响应而言,python 更快