Nutch1.0 Ui启动在tomcat中的配置

系统 1781 0

<!-- @page { margin: 2cm } P { margin-bottom: 0.21cm } A:link { so-language: zxx } -->

1 、下载 nutch-1.0.tar.gz. http://apache.etoak.com/lucene/nutch/

2 、解压缩 nutch-1.0.tar.gz, 放在自己熟悉的目录下面,比如 workspace.

3 、解压完后会有一个目录: webapps. 这个目录是 hadoop 自己所对应的页面。

datanode hdfs job secondary static task

4 、下载 tomcat 5.5 版本以上的都行,然后进行配置。 Sudo gedit /etc/profile 配置你的 JAVA_HOME TOMCAT_HOME.

5 、打开 tomcat conf/server.xml 。配置一个虚拟的目录

<Context path="/crawl" docBase="/home/user/tools/nutch-1.0/webapps/task/" reloadable="true" debug="0"/>

6 、在 task 的目录下面就可有写 jsp 页面了。在 task 下有一个 WEB-INF. 在它下面建立一个 classes 文件夹。这里面主要放的是 .class lib.

7 nutch 所编译生成的 .class 文件和所需要的 lib 都要拷贝到 /WEB-INF/classes/.

8 、最主要的是在 nutch1.0 的目录下面有一个 plugins 。这个也要放在 /WEB-INF/classes/.

9 、同时拷贝完了还不行,因为还没有做一些其它的相应配置:

<a> hadoop-env.sh 改变 JAVA_HOME.

<b> crawl-urlfilter.txt 改变抓取的 URL.

<c> regex-urlfilter.txt 屏蔽 URL 的后缀 .

<d> :所拷贝的 plugins 文件目录需和 nutch-default.xml 放在同一目录下面,如果不是需要改变 nutch-default.xml 中配置 plugin 的路径。

要不然会报 plugin.floders not find 等错误。

10 、因为我们是在页面来启动 nutch 的,当然 nutch 所抓取的页面得有存放位置。目前我是放在 /tomcat/bin/ : 在这个目录下面我建立了

myUrls ---- > url.txt -----> http://www.163.com/

crawl : 存放抓取完后页面存放路径。

11 、页面的部分就很简单了。两个输入框 : dept topN. 如果想加 thread ,也可以。然后就是提交。可以是一个 jsp 也可以是一个 servlet.( 注意要把所编译 的 .class 文件放到 /WEB-INF/classes/).

12 、打开浏览器启动下试试。不报错说明它已经启动了,或者是去 tomcat/bin/crawl/ 看看有没有东东。

Nutch1.0 Ui启动在tomcat中的配置


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论