黄梁梦故事缘自唐代沈既济所作《枕中记》传奇。记录的是在唐开元七年（719），有一卢生骑青驹，穿布短衣进京赶考，在邯郸客店遇道士吕翁，自叹贫困，苦不得志，但他仍不甘心，思建功立业，想升官发财，享富贵荣华。吕翁授他青瓷枕，说用此枕可得其志。时值店家刚煮黄梁（小米）。卢生一枕而睡，使入梦乡。梦中回到山东老家，娶妻崔氏，容貌美丽。后举进士，宦海浮沉，几经波折，因功进为中书会，封燕国公。五子也均为高官，姻亲均为名门望族。在朝五十余年，享尽荣华富贵。年愈八十，病终榻上。至此卢生翻身醒来，竟是一梦，吕翁在旁微笑，店主所煮黄梁未熟，卢生觉悟，随道士仙去。后人便根据这个故事建了此寺，以引起人们对人生哲学的思考。