Yıldırım Bayezid, Anadoluhisarı'nı inşa ederek Boğaz'dan geçişin kontrolünü ele geçirdi. Öte yandan, İstanbul'un fethi hazırlıkları sırasında Fatih Sultan Mehmet, önce Anadolu Hisarı'nı surlarla çevirerek güçlendirdi. Bundan sonra, Boğaz'dan geçişin tam kontrolünü ele geçirmek için karşısına ikinci bir kale inşa etmek istedi ve bu nedenle Rumeli Hisarı yaptırdı.
Belgelere göre, asli planı Fatih Sultan Mehmed tarafından çizilen kalenin inşası sırasında 1000 usta ve 2000'den fazla işçi gece gündüz çalışmış ve kale 4 ay içinde tamamlanmıştır. Surlardaki üç kule ise Fatih'in vezirleri Halil Paşa, Zağanos Paşa ve Saruca Paşa tarafından yaptırılmıştır.
İstanbul'un fethiyle birlikte Anadolu Hisarı ve Rumeli Hisarı'nın işlevi de sona erdi. 29 Mayıs 1453'te İstanbul'un fethinden sonra , suçlu yeniçerilerin cezalandırıldığı ve devletle savaşan konsolosluk mensuplarının gözaltına alındığı yer olarak kullanıldığı bilinmektedir.
Rumeli Hisarı, 1918'de onarıldı , 1953'te tamamen yeniden düzenlendi ve eski bir caminin minaresinin bulunduğu alan açık hava tiyatrosuna dönüştürüldü. Boğaz'ın mimari yapıları arasında hemen dikkat çeken Rumeli Hisarı, günümüzde konserlere, tiyatrolara ve çeşitli kültür ve sanat etkinliklerine ev sahipliği yapıyor.