Ia datang ke Makkah dengan semangat kegembiraan meski badan terasa letih.
Memang benar, sulitnya perjalanan dan panasnya udara padang pasir membuat tubuhnya sakit dan lelah, tatapi tujuan yang hendak dicapainya mampu meringankan penderitaan dan membangkitkan semangat kegembiraan dalam jiwa. Ia memasuki kota sambil menyamar. Ia tampak seperti orang yang hendak melakukan tawah mengelilingi berhala-berhala besar di Ka’bah, atau seorang musafir yang tersesat dlam perjalanan atau lebih tepatnya oarng yang menempuh perjalanan yang sangat jauh yang memerlukan istirahat dan menambah perbekalan. Seandainya orang-orang Makkaah mengetahui kedatangannya itu untuk menemui dan mendengan keterangan Rasulullah SAW, mereka pasti membunuhnya. Namun, ia tidak peduli jika harus dibunuh, asal saja itu dilaksanakan setelah dirinya melintasi padang pasir luas dan dapat menjumpai laki-laki yang dicarinya dan menyatakan beriman kepadanya. Mereka boleh membunuhnya tetapi setelah ia lega dengan kebenaran dan dakwah yang diberikan oleh Rasulullah SAW. Ia terus melangkah sambil memasang telinga. Setiap mendengar perbincangan tentang Rasulullah SAW, ia mendekat dan menyimak dangan hati-hati dan dari cerita yang dia dapat disana-sini, ia mendapati petunjuk yang bisa mengantarkannya ketempat persembunyian Rasulullah SAW dan mempertemukannya dengan beliau. Suatu pagi ia pergi ketempat tersebut dan mendapati Rasulullah SAW sedang duduk seorang diri. Ia mendekati beliau dan berkata, “Selamat pagi, wahai kawan sebangsa!” Beliau menjawab,”Keselamatan untukmu, wahai sahabat.” “Bacakanlah kapadaku syair Anda,” kata Abu Dzar. “Itu bukanlah syair yang dapat disenandungkan, melainkan Al-Qur’an yang mulia!” jawah Rasulullah SAW. “Bacakanlah kalau begitu!” Kata Abu Dzar Al-Ghifari. Rasulullah SAW pun membacakan Al-Qur’an, sedangkan Abu Dzar mendengarkan dengan penuh perhatian, hingga tidak berselang lama ia pun berseru, “Aku bersaksi bahwa tidak ada Illah (yang berhak disembah) selain Allah SWT dan aku juga bersaksi bahwa Muhammad SAW adalah utusan Allah.” “Dari manakah asalmu, saudara sebangsa?” tanya Rasulullah SAW, “Dari Ghifar,” jawabnya. Terbukalah senyum lebar dikedua bibir Rasulullah SAW, sementara wajahnya diliputi rasa kagum dan takjub. Orang-orang Ghifar sangat terkenal sebagai biang keladi perampokan ilegal. Mereka adalah sahabat malam dan kegelapan. Celakalah orang yang kesasar atau jatuh ke tangan oraang-orang Ghifar dalam perjalanan malam! Namun, hari ini salah seorang diantara mereka datang utuk menyatakan keislaman saat islam baru saja lahir. Sungguh, sulit dipercaya seorang dari Bani Ghifar sengaja datang untuk masuk islam saat itu. Abu Dzar Al-Ghifari menuturkan sendiri kisah keislamannya tersebut, “Rasulullah SAW pun menatap tajam seolah ingin mendapatkan kepastian dan keheranan beliau karena tahu bagaimana tabiat orang-orang Ghifar. Kemudian beliau bersabda,“Sesungguhnya Allah SWT memberikan petunjuk kepada siapa saja yang dikehendaki-NYA.”