桃花仙人指的是唐伯虎即明代画家、文学家、诗人唐寅。唐寅曾创作一首七言古诗《桃花庵歌》：桃花坞里桃花庵，桃花庵下桃花仙。桃花仙人种桃树，又摘桃花换酒钱。此诗中唐寅以桃花仙人自喻，也是桃花仙人的来源。
原文：
《桃花庵歌》唐寅
桃花坞里桃花庵，桃花庵下桃花仙。
桃花仙人种桃树，又折花枝当酒钱。
酒醒只在花前坐，酒醉还须花下眠。
花前花後日复日，酒醉酒醒年复年。
不愿鞠躬车马前，但愿老死花酒间。
车尘马足贵者趣，酒盏花枝贫者缘。
若将富贵比贫贱，一在平地一在天。
若将贫贱比车马，他得驱驰我得闲。
世人笑我忒风颠，我咲世人看不穿。
记得五陵豪杰墓，无酒无花锄作田。
弘治乙丑三月桃花庵主人唐寅。
译文：
桃花坞里有座桃花庵，桃花庵里有个桃花仙，桃花仙人种着很多桃树，他摘下桃花去换酒钱。酒醒的时候静坐在花间，酒醉的时候在花下睡觉，半醒半醉之间一天又一天，花开花落之间一年又一年。(我)只想老死在桃花和美酒之间，不愿意在(达官显贵们的)车马前鞠躬行礼、阿谀奉承，车水马龙是贵族们的志趣，酒杯花枝才是像我这种贫穷者的缘分和爱好啊。
如果将我的贫贱和别人的贫穷来比较，一个在天一个在地;如果将我的贫贱和达官显贵的车马相比较，他们的到了纵意驰骋，我却得到了闲情乐趣。别的人笑话我很疯癫，我却笑别的人看不穿世事，君不见那些豪杰之士虽然也曾一时的辉煌，如今却墓冢不存，只能被当作耕种的田地，(哪有我唐寅倚花饮酒这样的洒脱，倜傥)。
