可以去掉，我查了朗文发音词典，除了grandfather在朗文中有/d/音外（还是个斜体，说明也可以省略），其他如grandson, grandmother, granddaughter都没有d, 但是词典中也指出了在这些词的使用过程中，有些人也有用d的用法，所以说，你的书本没错，有d也对，没d也不是错的。
这种现象产生的原因，还是从发音的角度看，因为d音是一个齿龈爆破加双唇音，你体会一下发d音的时候，首先舌头是抵在上齿龈（就是上牙床和上牙根那地方），然后这个音还是爆破音（plosive），发音时先双唇闭合，然后爆破发音，所以还是双唇音。
你再看grandson的s是齿龈音，grandma, grandmother, grandpa的m, p音也都是双唇音， granddaughter更是接了一个相同的d音，只有grandfather在发音时，f音是齿唇音，上牙咬住下嘴唇，和d的发音位置差别较大，所以在发音时发音还是能听见的。
我觉得慢慢的这些单词的发音就都会没有d音了，就像grandpa和grandma, 谁都不说那个d音了，这也是英语的发音演变现象之一。