成语大全网 - 汉语词典 - lucene 中文分词?

lucene 中文分词?

StandardAnalyzer是可以用于中文分词,但它是一元分词,机械地将一个汉字做为一个词元来切分的,速度慢不说,语义也没有了,当然应该能保证查全率,呵呵.

ChineseAnalyzer比它好一点,也相当于一元分词。

lucene的第三方分词包有很多,上面两个不建议使用。可以去了解:

IK_CAnalyzer

庖丁解牛分词器

JE分词器