成语大全网 - 汉语词典 - 以下函数可以实现分词,但是为什么去停用词没有效果呢?问题在哪里?

以下函数可以实现分词,但是为什么去停用词没有效果呢?问题在哪里?

我觉得可能还是编码不对吧。我也遇到这种情况,所以搜到了这个问题,查了很多东西也没有个结果。

我最开始数据都是用GB2312处理的,后来用结巴分词看文档上说用好用utf-8编码,就写了段代码把文本改成utf-8了,然后停用词文件也是用的utf-8保存的,但是不是用代码保存的,使用Notpad,之后就一直不能停用文件里的词。

后来,在代码中加了几个比较明显的停用词组成的list,当分出来的词不在list里的时候,才输出该词,结果就成功的停用了list里的所有词。

建议楼主再调整一下编码试试吧。

另外,我最开始用的是Python2.7.10,因为停用词没反应,我查到一个网页说他用Python3.4就好了,我又换了Python3.4.3,可是一样不能用,然后向我上面那么做的就好了,Python2.7还没有试,估计问题都差不多了吧...

楼主加油!Python程序猿加油!