(1)由棱柱的定义可得:棱柱的侧面都是矩形,所以各侧面都是正方形的棱柱一定是直棱柱,但是底面不一定是正多边形,所以(1)不正确.(2)根据棱柱与平行六面体的定义可得(2)正确.(3)长方体的底边不一定相等,所以长方体不一定是正四棱柱,所以(3)错误.(4)相邻两侧面垂直于底面,则侧棱垂直于底面,所以该棱柱为直棱柱,所以(4)正确.故选C.