典故出自《史记西南夷列传》
及元狩元年，博望侯张骞使大夏来，言居大夏时见蜀布、邛竹杖，使问所从来，曰：“从东南身毒国，可数千里，得蜀贾人市”。或闻邛西可二千里有身毒国。骞因盛言大夏在汉西南，慕中国，患匈奴隔其道，诚通蜀，身毒国，道便近，有利无害。于是天子乃令王然于、柏始昌、吕越人等，使间出西夷西，指求身毒国。至滇，滇王尝羌乃留，为求道西十余辈。岁余，皆闭昆明，莫能通身毒国。
滇王与汉使者言曰：“汉孰与我大？”及夜郎侯亦然。以道不通故，各自以为一州主，不知汉广大。使者还，因盛言滇大国，足事亲附。天子注意焉。
夜郎自大意思是比喻骄傲无知的肤浅自负或自大行为。