Solr与Mysql数据库的集成,实现全量索引、增量索引的创建。
基本原理很简单:在Solr项目中注册solr的DataImportHandler并配置Mysql数据源以及数据查询sql语句。当我们通过Solr后台控制页面或者直接访问某个地址(后面给出),Solr就会调用DataImportHandler,连接数据库,根据sql语句查询数据,创建索引。
示例solr版本:solr4.3.1
约定Solr的安装目录,如E:\environment\solr-4.3.1为solr-home。
1. 拷贝jar包
将DataImportHandler所在的jar包和mysql的数据库驱动包Copy到solr-home/dist目录下。默认情况下该目录下已存在DataImportHandler所需的两个jar包。该Solr版本对应的jar包名字是:solr-dataimporthandler-4.3.1.jar、solr-dataimporthandler-extras-4.3.1.jar
2. 修改solr-home\example\solr\collection1\conf\solrconfig.xml文件
a. 增加所需jar包引用配置:
- < lib dir= "../../../dist/" regex= "solr-dataimporthandler-.*\.jar" />
- < lib dir= "../../../dist/" regex= "mysql-connector-java-.*\.jar" />
b. 增加resultHandler配置
- < requestHandler name= "/dataimport"
- class= "org.apache.solr.handler.dataimport.DataImportHandler" >
- < lst name= "defaults" >
- < str name= "config" >data-config.xml </ str >
- </ lst >
- </ requestHandler >
3. 在solrconfig.xml的同级目录下创建data-config.xml文件,配置数据库连接和Solr与mysql数据的对应关系和查询语句。
- < dataConfig >
- < dataSource type= "JdbcDataSource" driver= "com.mysql.jdbc.Driver"
- url= "jdbc:mysql://127.0.0.1/dbname" user= "root" password= "root" />
- < document name= "search_object" >
- < entity name= "talent"
- query="select id, gender, qq, msn, anualSalary, updateTime, addUserId
- from talent" >
- < field column= "anualSalary" name= "salary" />
- < field column= "addUserId" name= "userId" />
- <!--Talent Names-->
- < entity name= "talent_name" query= "select value from talentname where talentId='${talent.id}'" >
- < field column= "value" name= "name" />
- </ entity >
- </ entity >
- </ document >
- </ dataConfig >
4. 重启Solr。
批量导入(full-import):
http://<host>:<port>/solr/dataimport?command=full-import&commit=y
增量导入(delta-import):
http://<host>:<port>/solr/dataimport?command=delta-import&commit=y
导入状态查询(status):
http://<host>:<port>/solr/dataimport
重新装载配置文件(reload-config):
http://<host>:<port>/solr/dataimport?command=reload-config
终止导入(abort):
http://<host>:<port>/solr/dataimport?command=abort