上海站的站厅设计,采用“高架候车,南北开口”的方案。进入车站可以经由南北两个进站口进入,同时进站口以东另专设软席候车入口,直通软席候车室。而下车旅客,可通过地下通道,经由东南、西南、北出口共计三个出口快速出站。此外,80%的候车室位于月台上空。乘客经由南北进站口进入后,通过自动扶梯运送至二层中央走廊。中央走廊左右各分布5间候车室,旅客根据各候车室外电子屏显指示,进入相关候车大厅。左右两侧候车厅外侧再通过左右高架通道与各月台相连,缩短旅客上车时间。
底层站厅则主要以团体候车室、软席候车室、进站大厅为主。2003年,港澳自由行开通后,为加快沪港直通车的运行时间,上海海关在站厅底层设置进出境口岸,并由专门通道进入联检大厅。
另外,为避免购票人群与进出站人群的对冲,上海站在主站厅外东南侧,即秣陵路梅园路路口处兴建了联合售票大厅,整座大厅共设有40余个窗口。长三角动车组开行以后,上海站又增设自动售票大厅于东南出口东侧,以减少联合售票大厅的购票压力。
上海站的站台为岛式侧式混合站台,共设有7座站台,依据到发线细分为13个站台,包括2股机走线在内共计15股行车线。而站台上方为无廊柱式雨棚和高架候车室。 上海站南广场集合了公交、出租、轨交为主的公共交通。上海站进站口正前方地下为出租车停靠站。停靠站分为两个部分,以适应自长安路、秣陵路和梅园路两个方向驶入和驶出的出租车辆。乘客可以从上海站进站口正前方的入口乘坐自动扶梯进入停靠站点。
1995年,上海轨道交通1号线建成通车,上海站成为一号线起讫点站。尽管之后一号线延伸至共富新村站,但上海站因为巨大客流,仍旧承担了大部分列车的起点运输,并且凭借上海公共交通卡可以30分钟内换乘北广场的三、四号线。此外,上海站南广场上也是一些公交线路的起讫点站。此外,在南广场外侧的天目西路和大统路附近,设有以上海火车站命名的公交站点,成为途径公交的上下客车站。 上海站北广场自建成以后,也是长途客运、出租、轨交、公交等交通换乘地点。2000年12月,上海轨道交通3号线开通,其中途径上海站,并设有上海火车站站的上下客站。其主要进出口设在北广场,并通过地下过道与南广场相连。2005年12月,四号线运营后,与三号线共线运营,其中包括上海火车站站。2005年11月,位于上海站西北侧的上海长途客运总站投入运营。北广场成为客运和列车的主要换乘场所。2009年起,为适应上海世界博览会召开而导致铁路运输的客流激增,北广场开始进行大规模改造。2010年5月29日,北广场交通枢纽建成启用。