我在一个网络爬虫中使用 ,它只用于爬行数据。
我希望它能够抓取带有无效证书的站点,不管如何无效。
我的爬虫不会传递任何用户名,密码等,而且不会发送或者接收敏感数据。
对于这个用例,如果它存在,我将爬网 http
版本,但有时它并不当然。
如何用收费的apache 完成这项工作?
我尝试了一些类似的建议,但对于某些无效的证书,它们仍然失败,例如:
failed for url:https://dh480.badssl.com/, reason:java.lang.RuntimeException: Could not generate DH keypair
failed for url:https://null.badssl.com/, reason:Received fatal alert: handshake_failure
failed for url:https://rc4-md5.badssl.com/, reason:Received fatal alert: handshake_failure
failed for url:https://rc4.badssl.com/, reason:Received fatal alert: handshake_failure
failed for url:https://superfish.badssl.com/, reason:Connection reset
注意,我已经用我$JAVA_HOME/jre/lib/security/java.security
jdk.tls.disabledAlgorithms
的文件设置为无,以确保这不是问题,而且我仍然得到如上所示的故障。