情况是:
我用 add_tokens()方法 添加自己的新词后,BertTokenizer.from_pretrained(model)一直处于加载中。
原因: 有说是词典太大,耗时hours才加载出来(我也没有真的等到过)
暂时的解决办法:
参考于: /huggingface/tokenizers/issues/615#issuecomment-821841375
情况是:
我用 add_tokens()方法 添加自己的新词后,BertTokenizer.from_pretrained(model)一直处于加载中。
原因: 有说是词典太大,耗时hours才加载出来(我也没有真的等到过)
暂时的解决办法:
参考于: /huggingface/tokenizers/issues/615#issuecomment-821841375