1、Solr简介

　　Solr 是一个高性能，采用 Java5 开发，基于Lucene的 全文搜索服务器 。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

　　Solr最初由CNET Networks开发，2006 年初，Apache Software Foundation 在Lucene顶级项目的支持下得到了Solr。Solr于2007年1月酝酿成熟，在整个项目孵化期间，Solr稳步地积累各种特性并吸引了一个稳定的用户群体、贡献者和提交人。Solr 现在是 Lucene（Apache 的基于Java的全文本搜索引擎库）的一个子项目。

1.1 Solr的特性

　　Solr 是一个拥有像WebService一样接口的独立运行的搜索服务器。你将能够通过HTTP协议以 XML格式 将文档放入搜索服务器（这个过程叫做索引），你能够通过HTTP协议的GET来查询搜索服务器并且得到XML格式的结果。

Solr的 特性 包括：

• 高级的全文搜索功能
• 专为高通量的网络流量进行的优化
• 基于开放接口（XML和HTTP）的标准
• 综合的HTML管理界面
• 可伸缩性－能够有效地复制到另外一个Solr搜索服务器
• 使用XML配置达到灵活性和适配性
• 可扩展的插件体系

1.2 Solr的目录结构

Solr  程序包的 目录结构 ：

• client  ：包含了一些特定语言调用Solr 的API 客户端程序，目前只有Ruby 可供选择，Java 客户端叫SolrJ 在src/solrj 中可以找到。

• contrib  ：在solr 构建过程中放置已编译文件的目录。

• dist  ：存放Solr 构建完成的JAR 文件、WAR 文件和Solr 依赖的JAR 文件。

• example  ：是一个安装好的Jetty 中间件，其中包括一些样本数据和Solr 的配置信息。

• example/etc  ：Jetty 的配置文件。
• example/multicore  ：当安装Slor multicore 时，用来放置多个Solr 主目录。
• example/lib ：放置可选的JAR 文件比如对Slor 扩展的插件，这些JAR 文件将会在Solr 启动时加载。

• example/webapps  ：Solr 的WAR 文件部署在这里。
• example/solr ：默认安装时一个Solr 的主目录。

• example/solr/bin  ：建议将集群复制脚本放在这个目录下。
• example/solr/conf  ：放置配置文件。
  • conf/schema.xml ：建立索引的schema 包含了字段类型定义和其相关的分析器。
  • conf/solrconfig.xml ：这个是Solr 主要的配置文件。
  • conf/xslt ：包含了很多xslt 文件，这些文件能将Solr 的XML 的查询结果转换为特定的格式，比如：Atom/RSS。

1.3 Solr与Lucene关系

　　Lucene 是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎

　　Solr 是一个基于Lucene java库的企业级搜索服务器，包含XML/HTTP，JSON API，高亮查询结果，faceted search，缓存，复制还有一个WEB管理界面。Solr运行在Servlet容器中。所以Solr和Lucene的本质区别有以下三点：搜索服务器，企业级和管理。Lucene本质上是搜索库，不是独立的应用程序，而Solr是。Lucene专注于搜索底层的建设，而Solr专注于企业应用。Lucene不负责支撑搜索服务所必须的管理，而Solr负责。所以说，一句话概括Solr： Solr 是 Lucene 面向 企业搜索应用 的 扩展 。

 

　　1）Solr使用Lucene并且扩展了它

• 一个真正的拥有动态域（Dynamic Field）和唯一键（Unique Key）的数据模式（Data Schema）
• 对Lucene查询语言的强大扩展！
• 支持对结果进行动态的分组和过滤
• 高级的，可配置的文本分析
• 高度可配置和可扩展的缓存机制
• 性能优化
• 支持通过XML进行外部配置
• 拥有一个管理界面
• 可监控的日志
• 支持高速增量式更新（Fast incremental Updates）和快照发布（Snapshot Distribution）

 

　　2）Schema（模式）

• 定义域类型和文档的域
• 能够驱动智能处理
• 声明式的Lucene分析器规范
• 动态域能够随时增加域
• 拷贝域功能允许对一个域进行多种方式的索引，或者将多个域联合成一个可搜索域
• 显式类型能够减少对域类型的猜测
• 能够使用外部的基于文件的终止词列表，同义词列表和保护词列表的配置

 

　　3）查询

• 拥有可配置响应格式（XML/XSLT,JSON,Python,Ruby）的HTTP接口
• 高亮的上下文搜索结果
• 基于域值和显式查询的片段式搜索（Faceted Search）
• 对查询语言增加了排序规范
• 常量的打分范围（Constant scoring range）和前缀式查询－没有idf,coord,或者lengthNorm因子，对查询匹配的词没有数量限制
• 函数查询（Function Query）-通过关于一个域的数值或顺序的函数对打分进行影响
• 性能优化

 

　　4）核心

• 可插拔的查询句柄（Query Handler）和可扩展的XML数据格式
• 使用唯一键的域能够增强文档唯一性
• 能够高效地进行批量更新和删除
• 用户可配置的文档索引变化触发器（命令）
• 并发控制的搜索器
• 能够正确处理数字类型，从而能够进行排序和范围搜索
• 能够控制缺失排序域的文档
• 支持搜索结果的动态分组

 

　　5）缓存

• 可配置的查询结果，过滤器，和文档缓存实例
• 可插拔的缓存实现
• 后台缓存热启：当一个新的搜索器被打开时，可配置的搜索将它热启，避免第一个结果慢下来，当热启时，当前搜索器处理目前的请求。
• 后台自动热启：当前搜索器缓存中最常访问的项目在新的搜索器中再次生成，能够在索引器和搜索器变化的时候高速缓存常查询的结果
• 快速和小的过滤器实现
• 支持自动热启的用户级别的缓存

 

　　6）复制

• 能够将使用rsync传输时改变的索引部分有效的发布
• 使用拉策略（Pull Strategy）来简化增加搜索器
• 可配置的发布间隔能够允许对时间线和缓存使用进行权衡选择

 

　　7）管理接口

• 能够对缓存使用，更新和查询进行综合统计
• 文本分析调试器，能够显示每个分析器每个阶段的结果
• 基于WEB的查询和调试输出：解析查询输出，Lucene的explain方法细节，能够解释为何某个文档打分低，被排除在结果中等等

2、Solr安装

2.1 环境介绍

　　本次安装Nutch的环境介绍：

• 操作系统：CentOS 6.0 （机器名：TSlave.Hadoop）
• JDK版本：jdk- 6u31 -linux-i586.bin
• Solr版本：apache-solr- 3.5.0 .zip
• Tomcat版本：apache-tomcat- 7.0.27 .tar.gz

　　下面是软件的下载地址：

• JDK官网： http://www.oracle.com/technetwork/java/javase/downloads/index.html
• Solr官网： http://lucene.apache.org/solr/
• Tomcat官网： http://tomcat.apache.org/

 

　　备注 ：在" Nutch搜索引擎_第 1 期_Nutch简介及安装 "，我们已经安装了 JDK和Tomcat，这里我们只需要安装Solr，并与之前安装的Nutch相结合。

2.2 安装Solr

     第一步 ：把我们下载的Solr安装上传到"TSlave.Hadoop"机器上。

 

 

     第二步 ：用下面命令进行解压，并重新命名为"solr"。

 

unzip apache-solr-3.5.0.zip

mv apache-solr-3.5.0 solr

 

     知识点 ：

• linux zip 命令详解

功能说明：压缩文件。

语 法：zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>]

补充说明：zip是个使用广泛的压缩程序，文件经它压缩后会另外产生具有".zip"扩展名的压缩文件。

 

• linux unzip 命令详解

功能说明：解压缩zip文件

语 法：unzip [-cflptuvz][-agCjLMnoqsVX][-P <密码>][.zip文件][文件][-d <目录>][-x <文件>] 或 unzip [-Z]

补充说明：unzip为.zip压缩文件的解压缩程序。

 

• 范例：

zip命令可以用来将文件压缩成为常用的zip格式。unzip命令则用来解压缩zip文件。

1. 我想把一个文件abc.txt和一个目录dir1压缩成为yasuo.zip：

＃ zip -r yasuo.zip abc.txt dir1

2.我下载了一个yasuo.zip文件，想解压缩：

# unzip yasuo.zip

3.我当前目录下有abc1.zip，abc2.zip和abc3.zip，我想一起解压缩它们：

＃ unzip abc\?.zip

注释 ：?表示一个字符，如果用*表示任意多个字符。

4.我有一个很大的压缩文件large.zip，我不想解压缩，只想看看它里面有什么：

# unzip -v large.zip

5.我下载了一个压缩文件large.zip，想验证一下这个压缩文件是否下载完全了

# unzip -t large.zip

6.我用-v选项发现music.zip压缩文件里面有很多目录和子目录，并且子目录中其实都是歌曲mp3文件，我想把这些文件都下载到第一级目录，而不是一层一层建目录：

# unzip -j music.zip

 

     第三步 ：把Solr安装目录中dist子目录下"apache-solr-nightly.war"重名为"solr.war"，然后再复制到到Tomcat安装目录中的webapps 子目录下。

 

mv apache-solr-3.5.0.war solr.war

cp solr.war /usr/tomcat/webapps

 

 

    再到"/usr/tomcat/webpapps"目录中看看。

 

 

     第四步 ：修改Tomcat配置文件server.xml，添加中文字符编码。

 

    修改前：

 

    修改后：

 

     第五步 ：把" /home/hadoop/solr/ example / " 下的 solr 目录拷贝到" /usr/tomcat "目录中。用下面命令进行复制。

 

cp  -r  solr /usr/tomcat

 

 

     第六步 ：在" /usr/tomcat/conf/Catalina/localhost/ "下创建一个 solr.xml 文件，内容如下所示：

 

<?xml version="1.0" encoding="UTF-8"?>

<Context  docBase =" /usr/tomcat/webapps/solr.war " debug="0" crossContext="true" >

    <Environment name=" solr/home " type="java.lang.String" value=" /usr/tomcat/solr " override="true" />

</Context>

 

     备注 ：docBase为solr的上传目录。

 

 

 

     第七步 ：重新启动Tomcat，在浏览器输入" http://192.168.1.11:8080/solr/ "。

    意外出现，错误信息：Error loading class "solr.VelocityResponseWriter"

 

 

    解决方案：在" /usr/tomcat/ solr/conf "目录中，找到" solrconfig.xml "文件，找到下面这句话。

 

< queryResponseWriter

name ="velocity"

class ="solr.VelocityResponseWriter"  enable ="${solr.velocity.enabled:true}"/>

 

    把 enable="${solr.velocity.enabled: true }中的 true 修改为 false 。

 

    当修改完毕之后，重新启动Tomcat，然后再次输入" http://192.168.1.11:8080/solr/ "地址，即出现下面界面。

 

 

    点"Solr Admin"又会进入下面所示的界面。

 

2.3 结合Nutch

     1）方案一

第一步 ：启动Solr，启动目录：${SOLR_HOME}/example

 

java -jar start.jar

 

 

     第二步 ：验证Solr，在浏览器输入下面内容：

 

http://localhost: 8983 /solr/admin/

http://localhost: 8983 /solr/admin/stats.jsp

 

     备注 ：因为我们是远程访问，所以需要把"localhost"改为相应机器的IP"192.168.1.11"。

 

 

 

第三步 ：nutch与solr集成

需要将 Nutch 目录" runtime/local/conf " 下的" schema.xml "文件复制到 Solr 的" /example/solr/conf  "下 覆盖 原文件。schema.xml设置了索引的字段，把 content 项后面的stored=" false " 改为 stored=" true " 后在搜索返回值中就会包含含有关键字的具体内容。

 

 

     2）方案二

    直接利用我们上面配置在Tomcat中Solr网页，只需要将 Nutch 目录" runtime/local/conf " 下的" schema.xml "文件复制到 Tomcat 的" solr/conf "下 覆盖 原文件。schema.xml设置了索引的字段，把 content 项后面的stored=" false " 改为 stored=" true " 后在搜索返回值中就会包含含有关键字的具体内容。然后重启Tomcat服务器，不然不会生效。