Jalan rel (wagonways) telah digunakan di jerman sejak tahun 1550. jalan ini bermula dari adanya sebuah
kereta kecil (seperti gerobak) pengangkut muatan yang menggunajkan kayu sebagai rel dan ditarik
mwnggunakan kuda agar lebih mudah dan lebih cepat daripada menggunakan tenaga manusia. Ini
merupakan titik awal dari penemuan kereta api modern.
Pada tahun 1776, besi telah menggantikan kayu sebagai rel dan roda pada gerobak.
Wagonways berevolusi menjadi Tramways dan menyebar keluar eropa. Namun kuda masih menjadi salah
satu tenaga yang bisa diandalkan untuk menarik kereta pada saat itu. Pada tahun 1789 William Jessup
seorang ilmuan berkebangsaan Inggris merancang kereta pertama dengan roda bergelang. Flange adalah
jalan yang memungkinkan roda bergerak dengan lebih sempurna untuk berpegang pada bantalan rel
dengan baik, ini merupakan desain yang dibawa ke lokomotif nantinya.
Sejak penemuan mesin uap, kereta api mengalami kemajuan pesat. Pada tahun 1803 Samuel Homfray
memutuskan untuk mendanai pengembangan kendaraan bertenaga uap untuk menggantikan kuda yang
menarik gerobak-gerobak muatan. Pada tanggal 22 Febuari 1804 Richard Trevithick mengembangkan
lokomotif dengan mesin uap pertama yang mampu mengangkat beban 10 ton besi, 70 orang beserta 5
gerbong tambahan sejauh 9 mil dari Pen-y-Darron di kota Merthyr Tydfil ke Abercynonon. Perjalanan ini
memakan waktu selama kurang lebih dua jam.
Kereta api adalah sarana transportasi berupa kendaraan dengan tenaga gerak, baik berjalan sendiri
maupun dirangkaikan dengan kendaraan lainnya, yang akan ataupun sedang bergerak di rel. Kereta api
merupakan alat transportasi massal yang umumnya terdiri dari lokomotif (kendaraan dengan tenaga gerak
yang berjalan sendiri) dan rangkaian kereta atau gerbong (dirangkaikan dengan kendaraan lainnya).
Rangkaian kereta atau gerbong tersebut berukuran relatif luas sehingga mampu memuat penumpang
maupun barang dalam skala besar. Karena sifatnya sebagai angkutan massal efektif, beberapa negara
berusaha memanfaatkannya secara maksimal sebagai alat transportasi utama angkutan darat baik di
dalam kota, antarkota, maupun antarnegara.
Sejarah perkeretaapian sama seperti sejarah alat transportasi umumnya yang diawali dengan penemuan
roda. Mulanya dikenal kereta kuda yang hanya terdiri dari satu kereta (rangkaian), kemudian dibuatlah
kereta kuda yang menarik lebih dari satu rangkaian serta berjalan di jalur tertentu yang terbuat dari besi
(rel) dan dinamakan sepur. Ini digunakan khususnya di daerah pertambangan tempat terdapat lori yang
dirangkaikan dan ditarik dengan tenaga kuda.
Setelah James Watt menemukan mesin uap, Nicolas Cugnot membuat kendaraan beroda tiga berbahan
bakar uap. Orang-orang menyebut kendaraan itu sebagai kuda besi. Kemudian Richard Trevithick membuat
mesin lokomotif yang dirangkaikan dengan kereta dan memanfaatkannya pada pertunjukan di depan
masyarakat umum. George Stephenson menyempurnakan lokomotif yang memenangi perlombaan balap
lokomotif dan digunakan di jalur Liverpool-Manchester. Waktu itu lokomotif uap yang digunakan
berkonstruksi belalang. Penyempurnaan demi penyempurnaan dilakukan untuk mendapatkan lokomotif uap
yang lebih efektif, berdaya besar, dan mampu menarik kereta lebih banyak.
Penemuan listrik oleh Michael Faraday membuat beberapa penemuan peralatan listrik yang diikuti
penemuan motor listrik. Motor listrik kemudian digunakan untuk membuat trem listrik yang merupakan cikal
bakal kereta api listrik. Kemudian Rudolf Diesel memunculkan kereta api bermesin diesel yang lebih
bertenaga dan lebih efisien dibandingkan dengan lokomotif uap. Seiring dengan berkembangnya teknologi
kelistrikan dan magnet yang lebih maju, dibuatlah kereta api magnet yang memiliki kecepatan di atas
kecepatan kereta api biasa. Jepang dalam waktu dekade 1960-an mengoperasikan KA Super Ekspress
Shinkanzen dengan rute Tokyo-Osaka yang akhirnya dikembangkan lagi sehingga menjangkau hampir
seluruh Jepang. Kemudian Perancis mengoperasikan kereta api serupa dengan nama TGV.
Jalur kereta api pertama dibangun pada 17 Juni 1864. Yakni jalur
Kemijen-Tanggung, Semarang, sepanjang 26 Km. Diresmikan oleh Gubernur
Jenderal L.A.J Baron Sloet Van Den Beele. Tanggal 18 Februari 1870, NISM
membangun jalur umum Semarang-Solo--Yogyakarta.
Berdasarkan surat Raja Djawa, 28 Mei 1842, diusulkan agar periode 1842--1862
persiapan pemasangan jaringan jalan rel dari Semarang ke Kedu dan beberapa
wilayah Kerajaan di Jawa dapat dilakukan. Dalam aturan tersebut ditetapkan
pula bahwa gerbong-gerbong untuk pengangkutan ditarik oleh kerbau, sapi,
atau kuda. Belum direncanakan penarikan oleh lokomotip sebagaimana lazimnya
kereta api sekarang. Usulan Raja Djawa ini tidak dipenuhi pada tahun 1846
Gubernur Jenderal Rochussen mengusulkan kepada Kerajaan Belanda agar menolak
usulan tersebut. Selanjutnya diusulkan untuk penyediaan dana pemasangan rel
di lintas Batavia--Bogor. Namun, tahun 1851, Gubernur Jenderal Duymer van
Twist meminta Kerajaan Belanda untuk mempertimbangkan kembali pemberian
konsesi pembangunan jalan rel kereta kepada swasta. Akhirnya tahun 1857
didapat prinsip bahwa pembangunan jalan rel bisa dilakukan lagi oleh swasta.
Tahun 1871 Bose, salah seorang penentang pembangunan jalan kereta swasta,
menyusun RUU pemasangan jalan rel kereta api negara. Tapi RUU itu tak pernah
muncul ke permukaan, karena Menteri Transportasi Belanda Fransen van der
Putte menariknya. RUU pemasangan rel lintas Surabaya--Pasuruan dengan
simpangan di Bangil dan Malang diusulkan Menteri Urusan Daerah Jajahan Mr.
pBaron van Golstein. Tanggal 6 April 1875, pemerintah Hindia Belanda
menyatakan tanggal tersebut sebagai awal kehadiran kereta api pemerintah di
tanah jajahan yang diurus oleh suatu jawatan dipimpin oleh seorang Inspektur
Jenderal.
Tanggal 1 Maret 1885 Jawatan ini dihapus dan digabung dengan Departemen van
BOW atau Pekerjaan Umum. Dan 1 Juli 1909, Jawatan Kereta Api dan Tram Negara
digabung dengan Departemen Perusahaan Negara (Gouvernement Bedrijven) yang
dipimpin seorang Kepala Inspektur.