成语大全网 - 汉语词典 - BERT|add tokens后tokenizer一直加载中...

BERT|add tokens后tokenizer一直加载中...

情况是:

我用 add_tokens()方法 添加自己的新词后,BertTokenizer.from_pretrained(model)一直处于加载中。

原因: 有说是词典太大,耗时hours才加载出来(我也没有真的等到过)

暂时的解决办法:

参考于: /huggingface/tokenizers/issues/615#issuecomment-821841375