中山桥的前身，是明代宋国公冯胜和卫国公邓愈搭建的浮桥，称“镇远桥”；明洪武十八年（1385年）兰州卫指挥杨廉将浮桥移至今日位置，至今遗存着三根重10吨、长5.8米的铸铁桥柱“将军柱”。

清光绪三十二年（1906年），甘肃洋务总局彭英甲奏请清廷修建黄河铁桥，批准应允后，他与德国泰来洋行签订合同并规定：“铁桥长233.3米、宽7.5米，自完工之日起保固八十年。”清光绪三十四年（1908年）5月9日正式开工，桥梁由中国工匠施工，德国泰来行承建，美国桥梁公司设计，清宣统元年（1909年）8月19日竣工通行，实际耗银30.669万两，初名“兰州黄河铁桥”。民国十七年（1928年），为纪念孙中山先生，兰州黄河铁桥始称“中山桥”，沿用至今。

抗战期间，苏联援华物资大多由新疆入境，经甘新公路运抵兰州，再由西兰公路转运到各个抗日前线。中山桥是甘新、西兰两条东西大通道上，唯一一座横跨黄河的桥梁，其军事战略地位空前提高，成为抗日战争后勤补给的关键性桥梁。

1949年8月26日，在解放兰州战役中，炮弹击中了过桥的两辆军车，车上弹药爆炸，大火烧毁了桥南端18节桥面和部分纵梁。1954年，中山桥增加了五座弧型架拱梁，使其更加坚固耐用。2004年，中山桥迎来最大规模的维修加固，结束近百年的通车历史，变为永久性步行桥，于2006年被列为第六批全国重点文物保护单位。