Први предлог за оснивање Музеја дао је бивши директор Железничке саобраћајне школе у Београду Фрањо Репић 1931. године. Предлог није усвојен те године, па чак ни приликом обележавања 50. годишњице отварања пруге Београд-Ниш, када је приређена велика железничка изложба на Ташмајдану у Београду, априла 1934. године.
 
Припреме за прослављање стогодишњице железница на просторима бивше Југославије отпочеле су 1949. године, организовањем изложбе “Сто година железница у Југославији” у седам великих сала Модерне галерије у љубљанском парку Тиволи. Након завршетка изложбе поставка је сачувана и послужила је као основа за формирање Железничког музеја.
 
Од свог оснивања 1. фебруара 1950. године до 1961. године Музеј се налазио у саставу Министарства железница. По оснивању Завода за новинско-издавачку и пропагандну делатниост ЈЖ, прелази у сатав Завода, који је 1992. године преименован у ЖЕЛНИД д.о.о. У његовом саставу остаје до 2002. године, када долази под окриље кабинета генералног директора ЖТП “Београд”.
 
Од 2010. године, Музеј постаје организациона целина Медија центра Јавног предузећа “Железница Србије”, данас Акционарског друштва “Железнице Србије”.