就是一个人请客气走四个客人的原因是他说错了话的那个成语是什么来着?

主人请四个人吃饭,三个人来了,一个人未到,主人说,该来的还没来.

三人中的一个想,是不是我不该来,于是就走了.主人又说,不该走的却走了.

剩下的二人中,又一人想,走掉的是不该走的,那应该是我该走了?于是又一个走掉了.主人又说,我不是说你.

最后一人想,不是说他,那就说的是我了,我是那个该走的人吧.于是最后一个人也走了.

言不由衷 辞不达意.

以上答案是否合问主的意?