暮年,于先生深恨祖国处于分裂状态、自己不能叶落归根,深念失散多年的大陆亲人,遗憾而痛苦。1962年,他八十三岁,重病缠身,自知不久于人世,于是考虑后事:“我百年之后,愿葬玉山或阿里山树木多的高处,山要高者,树要大者,可以时时望大陆。我之故乡是中国大陆” (1962年1月12日的日记)。之后不久,1962年1月24日,于右任先生在日记本中写下了感情真挚沉郁的诗作《望故乡》。
台北西北部有个大屯山,于右任的墓园便坐落于此。这是淡水镇一座海拔700余米的八拉卡山,从墓前向西北眺望,台湾海峡碧波荡漾,隔海处即是祖国大陆。墓园有对联,“西北望神州万里风涛接瀛海;东南留胜迹千年豪杰壮山河”。“于右任先生墓”几个字是集王羲之行书。这位当代名儒,前辈先贤,近代中国的书法大师,远离故乡山水而在此长眠,人们默念着于老的诗句,抚着于老的墓冢坟土,衰草寒烟,静默的墓表、墓碑之间,林峦青翠的八拉卡山,山下是基隆滩,遥望迷茫的西北天际,不禁令悼念者潸然泪下。