nutch - Nutch多线程处理

  显示原文与译文双语对照的内容
0 0

我试图配置nutch来运行多线程爬网。

但是,我面临一个问题。 我无法运行多个线程爬行,我修改了 nutch-site.xml 使用 25个线程,但仍只能看到 1个线程运行。

<property>
 <name>fetcher.threads.fetch</name>
 <value>25</value>
 <description>The number of FetcherThreads the fetcher should use.
 This is also determines the maximum number of requests that are 
 made at once (each FetcherThread handles one connection).</description>
</property>
<property>
 <name>fetcher.threads.per.host</name>
 <value>25</value>
 <description>This number is the maximum number of threads that
 should be allowed to access a host at one time.</description>
</property>

我总是得到 activeThreads=25,spinWaiting=24,fetchqueues,totalsize=some值的值。

这是什么意思,你能解释一下什么问题,如何解决它。

我很感激你的帮助。

谢谢,Sumit

时间:原作者:1个回答

0 0

我想你的问题与一个已知的Bug/的新开发者有关。 请参见 NUTCH-721

你可以尝试使用 OldFetcher ( 如果你有 Nutch 1.0 ) 来查看是否解决了问题。

--肯

原作者:
...