你们这样的人被称为Heritage Speaker。这个问题我从三个方面解释一下。
第一个方面，我想从“语言技能的获得和语言内隐系统的获得是不同的”来解释这个现象。语言技能，简而言之是运用语言的能力。语言技能的获得，一般是指我们在课堂上、或者有意识的学习一门语言的规则、用法时学会的关于听、说、读、写的语言技能（也被称为外显语言系统，和内隐语言系统对应）。隐性语言系统是存在于人意识之外的语言系统，我们的母语习得基本就是隐性语言系统的建立的过程-----没有哪个中国人的母语是通过有意识的学习规则建立的吧？如果你没有语言学的知识，你能解释“了”的十三种用法是哪十三种吗？我们不知道但是可以把“了”用得炉火纯青，这是我们的意识之外的内隐系统在起作用。
母语习得是通过语言内隐系统的获得，而一般来说，第二语言学习是通过语言技能（外显系统）和语言内隐系统的***同获得下完成的，而且，语言能力的最终获得是取决于内隐系统的，而语言技能起到一个帮助、监控的作用-------这条结论是二语习得领域大部分学者所认同的。大部分在关键期（关键期：学习者错过了语言学习的关键的时间点----6岁，12岁，无定论-----才开始学习第二语言，这门语言的水平就永远没办法达到母语者的水平）后的学习者的第二语言知识构建大部分是语言技能，有小部分是内隐知识系统（事实上，一个人的二语知识哪部分是内隐哪部分是外显是很难区分开的），随着语言技能不断帮助内隐知识系统的构建，二语水平也不断提高。
而题主的现象正好相反，你的本民族语言（是维语吗）的知识构建大部分是内隐知识系统，而语言技能就差的多了。因为在你的成长过程中，你的本民族语言在你无意识的情况下帮你构建了一个内隐语言系统，然而同时期的母语习得（技术层面来说，汉语也是你的母语）影响了你本民族语言输出的机会。同时，你的内隐语言系统也是不完善的。---------这个我在第二个方面来解释。
再举一个更贴近题主的例子，有一个研究，让学习英语的学习者判断他们从未在课堂上或者有意识的学过的一个语法规则的合法性：
Who do you wanna invite to the party?
Who do you wanna bring the potato chips to the party?
他们没有学过wanna，但是可以正确的判断出1句合法，2句不合法，这表明他们已经建立了关于wanna的内隐知识。可是在现实里，这些学习者从未使用过wanna，说明他们并没有关于使用wanna的语言口语技能。
第二个方面，从语言的输入和输出方面来解释。关于语言的输入，题主所在的是一个良好的本民族语言输入的环境，输入的语言都是交际性的、有意义的，所以构建了你的内隐语言系统。
在语言表达时，至少要涉及两个过程，
1.思考表达的内容，这个涉及“词汇通达（access）”------激活心理词库中表达特定含义的词汇和语法形式，心理词库中特定含义的词汇和语法形式对于题主来说这不是问题，就是你说的“词汇都在你的大脑里”啊 ，但是“激活”可能有些问题
（关于词汇通达和心理词典再补充一点，心理词典由不同的网络、产生式、映射构成，通俗来解释一下，比如我的话，有中文词典网络和英文词典网络，然而我通达中文词典网络比英文快的多，里面涉及复杂的映射的构建等等。这也就是我感觉中译英比英译中困难的多的原因。）
2. 怎么用语言来表达。这涉及产出策略，需要将词汇组合在一起生成有意义的句子，而你的本民族语的产出策略并没有构建起来，而是构建了汉语的产出策略。语言的输出策略遵循一定的程序，有学者提出了六个加工阶段，我就不一一列举了，这里只是为了说明，产出策略并不是有了词汇通达就可以实现的，而是一个复杂的、不断增长的过程。----------这是你的内隐语言系统不完善的地方。所以，你说你说得时候想不起来，原因可能是你激活本民族语言心理词库的速度不够快，也可能是你激活了，但是你的大脑不知道如何将他们组合产出。
以上两个方面先总结一下：
总结之前再举一个例子，意大利人学英语时，往往把cook[k?k]（厨子）发成kook[ku:k]（傻子）的音，但是让意大利人听的时候，他们完全能分辨cook和kook，说明他们有了关于oo发音的内隐知识。但是他们表达“他是一个好厨子”这个意思是还是说成“He is a very good kook.” 这说明他们的产出策略是没有问题的，但是口语表达技能有些问题，就是可能他们对英语里元音的发音不敏感，或者是他们的发成kook但他们以为他们发的是cook这种主观性造成的。
这个例子也说明了口语表达技能对语言输出的影响，尽管有了内隐知识，但是表达技能有问题还是不行。
我在第二个方面说了题主在产出策略存在问题，同时，还有语言口语表达技能的限制，即，语言表达的流利程度和准确性，这个是熟能生巧的事情，是一个技能，是外显的。而我认为，口语表达技能和产出策略是有关系的，即，产出策略影响口语表达流利度和准确性，而口语表达技能的提高可以促进产出策略的完善，根据我前面所提到的产出策略的定义和口语技能的定义可以把二者联系起来。而题主基本上从来没有训练过自己本民族语言的口语能力，汉语的使用剥夺了本民族语使用的机会，导致最终也没有建立内隐系统的产出策略这一个环节。
第三个方面是从认知神经科学的角度，这个完全是凭我的想象力解释的，不足为信。在关键期前，你的本民族语言一直刺激了你的语言中枢中关于输入的语言区，但是输出（说话表达）的那部分语言区却没有被刺激，错过了关键期，你的表达能力自然跟不上理解能力了----也就是听没有问题，但是说也不成。