成语大全网 - 汉语词典 - IK和Paoding分词器的区别

IK和Paoding分词器的区别

可以用IKAnalyzer和PaodingAnalyzer,这两个都有对Lucene的封装接口,中科院的Ictclas是要收费的,而且是用DLL,和Java结合不好。

中文分词(ChineseWordSegmentation)指的是将一个汉字序列切分成一个一个单独的词。

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单划界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,不过在词这一层上,中文比之英文要复杂的多、困难的多。