【Lucene3.0 初窥】数据源内存组织结构—Docume

系统 1575 0

在检索数据的时候,我们很希望可以检索出数据源的各种信息。就比如检索磁盘文件,可以检索出文件的路径,名字, 内容,修改时间等等。再比如检索图书的书号、书名、作者、出版时间....  Lucene是如何组织这些数据源的不同属性信息呢?

 

Lucene 数据源组织结构

 

org.apache.lucene.document包中有两个很重要的类:Document 和 Field。这两个类将杂乱无章的数据形式组织成可以被Lucene使用的内存数据结构。

 

Field类的作用主要是用来表示当前数据源的各种属性。 数据源的每种属性信息都可以组织成一个Field对象。这些对象有不同的属性名,属性值,以及属性数据的存储方式和索引方式。

 

举个列子,比如我们想要检索文件的路径,修改时间和内容。我们可以创建三个Field对象分别存储这三种数据:

    //文件路径Field
Field pathField=new Field("path", file.getPath(), Field.Store.YES, Field.Index.NOT_ANALYZED)
//文件修改时间Field
Field modifiedField=new Field("modified", DateTools.timeToString(file.lastModified(), DateTools.Resolution.MINUTE), Field.Store.YES, Field.Index.NOT_ANALYZED)
//文件内容Field
Field contentField=new Field("contents", new FileReader(file));
  

 

下面是Field构造器(Field构造器有很多种,这里只做简单说明)

    /**
 * name:  名字
 * value:  需要处理的字符串
 * store:  是否需要将Field的原始value保存在索引文件中
 * index:  是否需要对Field的原始value建立索引,如果需要,那么Field值要被分词。
 */
public Field(String name, String value, Store store, Index index) 
  

 

Store和Index是Field中的枚举类型,用来表示这个Field的存储和索引方式。它们主要是为了告诉Lucene,哪些数据不需要存储,哪些数据不需要检索。

    /** 
 *  确定该Field的原始value是否需要存储在索引中
 */
enum Store {
    //该Field的原始值要被存储在索引中
    //对短文本很有用。比如一个文档的标题,这个value以原始形式存储,在存储之前并不通过analyze分词
    YES {
          public boolean isStored() { return true; }
    },
    //该Field的原始值不需要存储在索引中
    NO {
          public boolean isStored() { return false; }
    };
    public abstract boolean isStored();
}
/**
 *   确定该Field是否需要索引
 */
enum Index{
      //该Field的值不需要索引,也就是不能提供关于这种Field值的查询
      //但是如果这个Field被存储了(Stored=YES),那么我们查询别的Field的时候,可以得到这种Field信息
      NO{
          public boolean isIndexed()  { return false; }
          public boolean isAnalyzed() { return false; }
          public boolean omitNorms()  { return true;  }   
      },
      //该Field值需要建索引,而且需要分词
      // 可以通过Field值中的词语进行查询,适合内容查询(全文检索)
      ANALYZED {
          public boolean isIndexed()  { return true;  }
          public boolean isAnalyzed() { return true;  }
          public boolean omitNorms()  { return false; }   	
     },
      //该Field值需要建索引,但不需要分词
      //由于不分词,只能够通过整个值进行查询,适合像商品编号这样的ID值或者单个词语
      NOT_ANALYZED {
          public boolean isIndexed()  { return true;  }
          public boolean isAnalyzed() { return false; }
          public boolean omitNorms()  { return false; }   	
     },
}

  

 

Document 是Field 的集合(并不是狭隘的文件的含义) 在Lucene中,Document作为数据源的各种属性信息的集合,向Lucene提供原始的要索引的数据。这些数据源不仅可以是文件,也可以是一段字符串、几个数字、甚至一些链接。只要把它们加入到Document对象中,Lucene就可以为这些数据源建立索引。下面的部分Document源码表明:Document主要起到对Field信息进行记录和管理的作用。

 

    public final class Document implements java.io.Serializable {
 
    //Field列表
    List<Fieldable> fields = new ArrayList<Fieldable>();
    //在Document中加入Field
    public final void add(Fieldable field) {
         fields.add(field);
    }

    public final void removeField(String name){....}
    public final Field getField(String name) {....}
    .....
}
  

 

还是上面检索文件的例子,每个文档文件的不同属性信息都被组织成了三个Field对象:path Field、modified Field、content Field。我们可以创建一个Document对象,加入这三个Field,来表示一个文档文件需要被检索的三种数据。

    Document doc = new Document();  

doc.add(pathField);
doc.add(modifiedField);
doc.add(contentField);
  

 

 

总结 :下面的图很清楚的说明Lucene的数据源表示形式

 

举个例子,按照 《Lucene体系结构概述》 中代码( IndexFiles.java )对3个txt文件建立索引。Lucene首先将这三个数据源在内存中组织成Document、Field 如下表:

 

Document    Field1 (path)     Field2 (modified)
    Field3 (content)
    1.txt    e:\\....\\1.txt        2010-4-1  I'm a good stud..
    2.txt    e:\\....\\2.txt        2010-4-2  It's me to a fini...
    3.txt    e:\\....\\3.txt        2010-2-11  Hi, Jack me too...

 

Document 和 Field在Lucene中的作用是巨大的。我们都知道Lucene可以对任何形式的数据源建立索引,比如字符串、纯文本、XML、HTML等数据形式。怎么多杂乱无章的数据必须组织成统一有效的结构才能更好的处理,Document / Field 无疑做到了这一点。

 

【Lucene3.0 初窥】数据源内存组织结构—Document/Field


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论