Hz. İbrahim Aleyhisselam, Kâbe'nin inşasını bitirdikten sonra oğlu İsmail Aleyhisselam ile tavafa başlama noktasını belirlemek için: "İsmail, bana bir taş getir de tavafın nereden başlayacağını işaret edeyim." dedi. Hz. İsmail Aleyhisselam da Cebel-i Kubeys'ten bir taş alıp babasına verdi. O da tavafın başlayacağı bugünkü Kâbe'nin köşesine taşı koydu. Taş, yumurta şeklinde olup 18-19 santimetre yarıçapında idi. Konduğu yer, yerden üç arşın dört parmak yüksekliğindeydi. Böyle yükseğe konmasının sebebi ve sırrı, her yerden herkesin görebilmesi içindi. Rengi vaktiyle beyaz olan bu taş, çokça istilam edildiği, yani selamlanıp öpüldüğü için kırmızımsı (kırmızımsı esmer bir taş) haline gelmiştir diye rivayet edilmektedir.

Hacerü'l-Esved, melekler, peygamberler ve Efendimiz Muhammed Aleyhisselam tarafından öpülmüştür. Hacerü'l-Esved'i öpmek, Cenab-ı Hakk'ın saltanat-ı ilahiyesine yakınlık (kurbiyet) bir işaret olmasından dolayı hürmet, teslim ve ikrar anlamını ifade eder. İşte bu nedenle, Hz. Ömer Efendimiz (ra) "Vallahi seni öpüyorum. Senin taş olduğunu, zarar ve fayda veremeyeceğini de biliyorum. Eğer Resulullah'ın seni öptüğünü görmeseydim, seni öpmezdim." demiştir.

Kâbe, Huzaalılardan sonra Hacerü'l-Esved, onların rakibi olan Cürhümlüler tarafından kaçırılmış, sonradan Huzaa kabilesi tarafından yeniden ele geçirilerek tekrar yerine konulmuştur. Daha sonraları Abbasi Halifelerinden Muktedirbillah zamanında Mekke'yi zaptetmiş olan Karamite (Karmati) reisi Tahir tarafından koparılıp Küfe Mescidine konulmuştu. 20 sene sonra, Halife Mutî' Billah tarafından 24 bin dinar karşılığında geri alınıp Mekke'ye getirilmiş ve bugünkü yerine konulmuştur.

Hacerü'l-Esved, çeşitli zamanlardaki yangınlarda zarar görmüş ve kırılmıştır. Şu anda 12 parça olarak birleştirilmiştir. Ufak bir parçası Kanuni Sultan Süleyman zamanında bir Hadım Ağası tarafından İstanbul'a nakledilmiş ve Süleymaniye civarındaki Kanuni Sultan Süleyman türbesine asılmıştır.

Rivayete göre Hacerü'l-Esved kıyamet gününde Kâbe'yi tavaf edenlere şahit olacaktır, bu yüzden taşın aşk ile öpülmesi gerektiği söylenir. Halk arasında hacdan gelenlerin avuçlarının içlerinin öpülmesi, hacca gidip tavaf edenlerin Hacerü'l-Esved'in şahitliği bir de ya öperek ya da dokunarak veya uzaktan ellerini açarak Hacerü'l-Esved ile temas kurmaları sebebiyledir. Çünkü hacı "elestü birabbiküm" bezmindeki ikrarı burada yenilemiş olduğundan, memleketinde henüz hacca gidememiş kimselerin onu tasdik etmeleri, avucunun içini öpmeleri bundan dolayıdır.