单纯的词根词缀记忆还是不够的，一些常用的单词（包括起码的日常会话3000和4000的释义词汇）都要掌握。英语本身高达数十万的单词并不都是彼此毫不相关的，很多单词都能衍生出其它不同词性，相似词义的单词。
比如你说的reference这个词，其实就是动词refer(参考，查阅，提及）所衍生出的名词，知道了这一点，也就不难理解referee、referent、referential、referral等单词的意思了。
以上都是我自己的经验，希望对你有帮助。
P.S:推荐你使用星火系列的词汇记忆书，很有用的。