Yıldırım Bayezid tomó el control del paso del Bósforo construyendo Anadoluhisarı. Por otro lado, durante los preparativos para la conquista de Estambul, Fatih Sultan Mehmet primero reforzó Anadolu Hisarı rodeándola de murallas. Después de esto, quiso controlar completamente el paso del Bósforo construyendo una segunda fortaleza en el lado opuesto, por lo que se construyó Rumeli Hisarı.
Según los documentos, la fortaleza, cuyo plano original fue diseñado por Fatih Sultan Mehmed, contó con la participación de 1000 artesanos y más de 2000 obreros que trabajaron día y noche durante su construcción, la cual se completó en cuatro meses. Las tres torres sobre las murallas fueron construidas por los visires de Fatih, Halil Pasha, Zağanos Pasha y Saruca Pasha.
Con la conquista de Estambul, tanto Anadolu Hisarı como Rumeli Hisarı dejaron de funcionar. Se sabe que, tras la conquista de Estambul el 29 de mayo de 1453, se utilizaban como lugar de castigo para los jenízaros criminales y de detención para los miembros del consulado que luchaban contra el Estado.
La fortaleza fue reparada en 1918 , completamente remodelada en 1953 y el área donde se encuentra el minarete de una antigua mezquita se convirtió en un teatro al aire libre. Rumeli Hisarı, que rápidamente llamó la atención entre las arquitecturas del Bósforo, acoge hoy en día conciertos, representaciones teatrales y una gran variedad de actividades culturales y artísticas.