请问用 Node 的爬虫朋友，有遇到过偶然出现中文变成方块问号字符的情况吗？
wontoncc · 2013-05-19 19:14:17 +08:00 · 5469 次点击这是一个创建于 3988 天前的主题，其中的信息可能已经有所发展或是发生改变。
估计是变成坏掉的不完整的UTF-8字符了，求解决方案。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
第 1 条附言 · 2013-05-20 22:28:23 +08:00
https://github.com/wontoncc/cnbetaCC 代码仓库在这边，主要是 worker 和 processor 做爬取信息的处理。
第 2 条附言 · 2013-05-21 16:49:07 +08:00
重新写了一遍抓取的代码，用 stream 和原生 buffer 处理，并没有出现这个问题；
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
 |
1
chemzqm 2013-05-19 19:30:26 +08:00  1
可能抓到的是gzip版本，设置请求头 Accept-Encoding:deflate
|
 |
3
orzfly 2013-05-19 19:59:23 +08:00 1
随机的？话说js好像不支持0~0xFFFF之外的字符。
|
 |
5
inaction 2013-05-19 21:02:15 +08:00
测试：刚才明明发的中文字符：〖〗，变成了[]
|
 |
8
juicy 2013-05-20 14:39:27 +08:00 1
会不会是你本机缺少相应的字符库，而抓到的数据本身是没问题的？也许在其他有相应字符库的机子上是显示正常的？
|
 |
9
wontoncc OP @juicy 刚刚测试了一下，并不是这个问题。
而且因为是随机的缘故，本来有些字这次请求完好，下一次请求却坏到了。如果是字库问题应该一直都看不到才对。 |
 |
11
leafduo 2013-05-20 21:10:03 +08:00 1
贴代码吧
|
|
13
wontoncc OP |
|
14
juicy 2013-05-21 18:18:14 +08:00
恭喜楼主攻克难题～～～
|
|
15
chemzqm 2013-05-21 20:42:34 +08:00
给他提个issue吧，方便其他人。
|
Select Language