我正在用Node和Cheerio构建一个网页刮板,对于某个网站,我得到以下错误(它只发生在这一个网站上,没有其他我试图刮的网站。

它每次都发生在不同的位置,所以有时是url x抛出错误,其他时候url x是好的,它是一个完全不同的url:

    Error!: Error: socket hang up using [insert random URL, it's different every time]

Error: socket hang up
    at createHangUpError (http.js:1445:15)
    at Socket.socketOnEnd [as onend] (http.js:1541:23)
    at Socket.g (events.js:175:14)
    at Socket.EventEmitter.emit (events.js:117:20)
    at _stream_readable.js:910:16
    at process._tickCallback (node.js:415:13)

这是非常棘手的调试,我真的不知道从哪里开始。首先,什么是套接字挂起错误?是404错误还是类似的错误?或者仅仅意味着服务器拒绝连接?

我在任何地方都找不到解释!

编辑:下面是(有时)返回错误的代码示例:

function scrapeNexts(url, oncomplete) {
    request(url, function(err, resp, body) {

        if (err) {
            console.log("Uh-oh, ScrapeNexts Error!: " + err + " using " + url);
            errors.nexts.push(url);
        }
        $ = cheerio.load(body);
        // do stuff with the '$' cheerio content here
    });
}

没有直接调用关闭连接,但我使用节点请求(据我所知)使用http。get所以这是不需要的,如果我错了纠正我!

编辑2:下面是一段实际使用的代码,它会导致错误。prodURL和其他变量主要是前面定义的jquery选择器。这使用了Node的异步库。

function scrapeNexts(url, oncomplete) {
    request(url, function (err, resp, body) {

        if (err) {
            console.log("Uh-oh, ScrapeNexts Error!: " + err + " using " + url);
            errors.nexts.push(url);
        }
        async.series([
                function (callback) {
                    $ = cheerio.load(body);
                    callback();
                },
                function (callback) {
                    $(prodURL).each(function () {
                        var theHref = $(this).attr('href');
                        urls.push(baseURL + theHref);
                    });
                    var next = $(next_select).first().attr('href');
                    oncomplete(next);
                }
            ]);
    });
}

当前回答

我使用带有x.509证书身份验证的axios

我的请求是这样的。

 async function callService() {

     const httpsAgent = new https.Agent({
         cert: fs.readFileSync('client.crt'),
         key: fs.readFileSync('client.key'),
         ca: fs.readFileSync('ca.crt'),
     });

     try {
         const result = await axios.post(
             'https://example.com/test/', 
             {"topic": 'home'}, 
             { httpsAgent: httpsAgent }
         );
     }
     catch (error) {
         console.log('error:', error)
     }

}

client.crt 
-----BEGIN CERTIFICATE-----
MIIDWjC....cME70g==
-----END CERTIFICATE-----

client.key
-----BEGIN RSA PRIVATE KEY-----
oBXxnIVby...qvdSsQ==
-----END RSA PRIVATE KEY-----

ca.crt
-----BEGIN CERTIFICATE-----
MIIDQ...8SQvvG5
-----END CERTIFICATE-----

我得到了错误:

Error: socket hang up
at connResetException (internal/errors.js:609:14)
at TLSSocket.socketOnEnd (_http_client.js:458:23)
at TLSSocket.emit (events.js:326:22)

解决方案:

我发现我使用的证书是无效的。: -)

其他回答

我认为值得注意的是……

我正在为谷歌api创建测试。我用一个临时服务器拦截请求,然后转发给真正的api。我试图在请求中传递头部,但一些头部导致了另一端的express问题。

也就是说,在使用请求模块进行转发之前,我必须删除连接、接受和内容长度的报头。

let headers = Object.assign({}, req.headers);
delete headers['connection']
delete headers['accept']
delete headers['content-length']
res.end() // We don't need the incoming connection anymore
request({
  method: 'post',
  body: req.body,
  headers: headers,
  json: true,
  url: `http://myapi/${req.url}`
}, (err, _res, body)=>{
  if(err) return done(err);
  // Test my api response here as if Google sent it.
})

我在请求某些服务器时遇到了同样的问题。在我的例子中,在请求选项的头中将任何值设置为User-Agent都对我有帮助。

const httpRequestOptions = {
    hostname: 'site.address.com',
    headers: {
       'User-Agent': 'Chrome/59.0.3071.115'
    }
};

这不是一般情况,取决于服务器设置。

我同时做web(节点)和Android开发,并一起打开Android Studio设备模拟器和docker,它们都使用端口8601,它抱怨套接字挂起错误,关闭Android Studio设备模拟器后,它在节点端工作良好。不要同时使用Android Studio设备模拟器和docker。

在我的例子中,这是因为应用程序/json响应的格式很糟糕(包含堆栈跟踪)。响应从未发送到服务器。 这对调试来说非常棘手,因为没有日志。这篇文章帮助我理解发生了什么。

我在OCP集群上使用CouchDB时得到了类似的错误。

const cloudantSessionStore = sessionStore.createSessionStore(
  {
    type: 'couchdb',
    host: 'https://' + credentials['host'],
    port: credentials['port'],
    dbName: 'sessions',
    options: {
      auth: {
        username: credentials['username'],
        password: credentials['password']
      },
      cache: false
    }
  }

它应该是“http”,而不是“https”,以连接我的CouchDB实例。希望对遇到类似问题的人有所帮助。