Masjid Syech Zainal Abidin dibangun tahun 1880 dan merupakan masjid tertua di
Kota Padangsidimpuan oleh Syech Zainal Abidin Harahap yang merupakan Ulama dan Sufi
terkemuka di Tapanuli Bahagian Selatan yang lahir sekitar tahun 1810 dan wafat sekitar tahun
1903 dan dimakamkan tak jauh dari lokasi masjid. Keunikan struktur bangunan ini berbahan
dasar tanah liat, telur ayam, batu, dan tanah kapur karena pada masa itu belum ada semen atau
bahan lainnya seperti yang dipergunakan masyarakat saat ini . Dan bangunan ini dahulu
dibangun hanya dalam tempo waktu 24 jam dengan pekerja lebih dari 50 orang dengan
banyak keberkahan yang terjadi saat proses pembangunan masjid ini antara lain ada seorang
perkerja yang sembuh dari penyakit lumpuhnya karena ikut bergotong royong saat
membangun masjid ini. Di dingding masjid juga terdapat bebrapa ornamen dan ketebalan
dingding masjid kurang lebi 60 cm , dan ciri has lain yang dapat dilihat langsung ketika
berkunjung ke masjid ini