我正在用Node和Cheerio构建一个网页刮板，对于某个网站，我得到以下错误(它只发生在这一个网站上，没有其他我试图刮的网站。
它每次都发生在不同的位置，所以有时是url x抛出错误，其他时候url x是好的，它是一个完全不同的url:
Error!: Error: socket hang up using [insert random URL, it's different every time]
Error: socket hang up
at createHangUpError (http.js:1445:15)
at Socket.socketOnEnd [as onend] (http.js:1541:23)
at Socket.g (events.js:175:14)
at Socket.EventEmitter.emit (events.js:117:20)
at _stream_readable.js:910:16
at process._tickCallback (node.js:415:13)
这是非常棘手的调试，我真的不知道从哪里开始。首先，什么是套接字挂起错误?是404错误还是类似的错误?或者仅仅意味着服务器拒绝连接?
我在任何地方都找不到解释!
编辑:下面是(有时)返回错误的代码示例:
function scrapeNexts(url, oncomplete) {
request(url, function(err, resp, body) {
if (err) {
console.log("Uh-oh, ScrapeNexts Error!: " + err + " using " + url);
errors.nexts.push(url);
}
$ = cheerio.load(body);
// do stuff with the '$' cheerio content here
});
}
没有直接调用关闭连接，但我使用节点请求(据我所知)使用http。get所以这是不需要的，如果我错了纠正我!
编辑2:下面是一段实际使用的代码，它会导致错误。prodURL和其他变量主要是前面定义的jquery选择器。这使用了Node的异步库。
function scrapeNexts(url, oncomplete) {
request(url, function (err, resp, body) {
if (err) {
console.log("Uh-oh, ScrapeNexts Error!: " + err + " using " + url);
errors.nexts.push(url);
}
async.series([
function (callback) {
$ = cheerio.load(body);
callback();
},
function (callback) {
$(prodURL).each(function () {
var theHref = $(this).attr('href');
urls.push(baseURL + theHref);
});
var next = $(next_select).first().attr('href');
oncomplete(next);
}
]);
});
}
