1906年沪杭甬铁路开工,起点选在上海老城厢南面商业繁华的地方。1908年3月20日,上海南站正式办理客运,开行上海南站至松江的客车,1908年11月,沪杭甬铁路上海至枫泾段竣工。
清光绪三十四年四月(1908年4月),建上海南火车站。
1912年8月11日由华商电气公司开通小东门——南火车站的1路有轨电车(于1916年全线通车) 1918年1月13日由华商电气公司开通老西门——高昌庙的4路有轨电车经过本站
由于两个车站分别位于城市南北两侧,有所不便,于是在1916年,在城市西侧修建了沪杭甬铁路与沪宁铁路的连接线(沪新铁路),上海北站成为铁路沪宁、沪杭甬两路总站,而上海南站仍是长江三角洲地区货运量最大的火车站。
沪新铁路竣工后旅客可以任意从上海北站或上海南站上车至杭州。上海南站开出的客车在新龙华站与北站开出的客车衔接,然后开往杭州方向;杭州方向到上海的旅客,在北站下车的乘坐前段列车,在南站下车的乘坐后段列车,到新龙华后分成两列,分别开抵北站和南站两个终点站。
在1937年的淞沪会战中,日军战机于8月28日下午轰炸上海南站,运输被迫中断。上海沦陷后,日军又将上海南站至日晖港之间被炸断的长约1.5公里的铁路拆除。上海南站的货运业务迁到日晖港站,旅客运输由上海北站承担。从此,上海南站及站前一段铁路不复存在。
随着位于南站城市动力广场北侧的“火炬石”周边绿化顺利完成,标志着铁路南站的景观绿化工程已基本建成,高达32%的绿化率,让人感到,跑进上海南站,就像进入了一个大公园。整个南站绿树成荫、怪石林立、曲径通幽,置身其中,市里的一切喧嚣皆可抛诸脑后。最奇特的是矗立在铁路南站北广场玉兰苑内的一尊景观黄蜡石,重80吨、高近8米,它产自广东,是上海单体最大的景观石,暂名为子母峰。
上海铁路南站最大的建筑特点就是地面建筑少,2/3的建筑面积在地下,这就腾出了更多的空间,可以用于绿化。而铁路南站边建设边绿化,改变了以往工程建设完再种绿化的传统。为了精确定位种植树木,绿化部门用了各种精密测绘仪,让树木种植的位置和图纸上画好的一模一样,这在全市大型重点工程配套项目施工中尚属首次。
上海铁路南站的广场绿化绝大多数属于屋顶绿化,广场下为地下两层建筑结构,地下结构顶部都要回填至少1.5米的绿化造型土来植绿,这就对给排水的要求很高。
铁路南站绿化面积总共达到了8.5公顷。共种植了3000株乔木,50万株花灌木,4.5万平方米草坪。经过近两年的边建设边种植,苗木的最终成活率达到了98%以上。南站正式运营后,这里不仅是一个大型的交通枢纽,也会成为周边居民健身休闲的好去处。