汉光武帝刘秀慕名而来,留下了一个传奇的故事。据清同治本《襄阳县志》记载:“汉建武中(公元25-56年),帝与习郁(巡游苏岭山)梦见山神(两只梅花鹿),命郁立祠于山,上刻二石鹿夹道口,百姓谓之鹿门庙,遂以庙名山”后来,庞德公不受刘表数次宴请;携其妻栖隐鹿门。因此山东麓遂建有庞公祠。又由于孟浩然、皮日休效法前贤,山上有孟浩然归隐处和皮日休书屋。所以唐以后有“鹿门高士傲帝王”之说。
坐落于鹿门山半山腰的鹿门寺是中国有名的佛教圣地,千百年来,无数海内外香客云集于此,佛光高照。原先的建筑规模宏大,工艺精巧,古朴雅致,蔚为壮观。故历来常有名僧如处贞、丹霞等来此主持佛事。北宋政和年间(公元1111至1117年)最为兴盛:当时有佛殿、僧寮、斋堂、方丈室共560余间。
鹿门山位于襄阳市襄州区城东南15公里的东津镇境内,为国家森林公园。据县志载:“汉建武中帝与习郁俱梦见苏岭山神。命郁立祠于山上,刻二石鹿夹道口,百姓谓之鹿门庙。遂以庙名山。”鹿门山峭壁苍翠,景色幽丽。此寺兴盛时,有佛殿、僧寮、斋堂、方丈室等约500间,有“骑马关山门”之说。后几经损毁,1980年始逐步修复。现有鹿门牌坊、八角井、天井、暴雨池、龙头池等景点。鹿门山是名人高士的隐居之地。汉末名士庞德公不受刺史刘表数次宴请,携家登鹿门山采药不返。唐代诗孟浩然官场失意幽居鹿门山,吟咏山水自得其趣。晚唐文学家皮日休也曾忿栖鹿门山……。因此,人们世称“鹿门高士傲帝王”。后人在山上曾建许多纪念性建筑,但现又存“庞公制药洞”、“浩然亭”、“三高祠”,以及宋、明、清碑刻百余块,记载着鹿门高僧名士事迹及兴废始末。鹿门山及附近岗峦上,还建有山门翠微、诗家遗风、鹿门隐居、沙丘点兵、香炉秋红5个景区,共32个景点。