常用的分词方法有

基于字典的分词法、基于统计的分词法。

1、基于字典的分词法：将待分析的一段文字与一个事先编制好的字典中的词条进行匹配，在待分析文字中扫描到字典中已有的词条则匹配成功，或者切分出一个单词，这种分词方法的准确性在很大程度上取决于字典的完整性。

2、基于统计的分词法：搜索引擎对大量的页面内容进行分析，计算出字与字之间相邻出现的概率，如果某几个字相邻出现的概率很大，会形成一个单词，基于统计的分词法的优势就在于对新出现的词反应更加快速。