Yıldırım Bayezid assunse il controllo del passaggio dal Bosforo costruendo Anadolu Hisarı. D'altra parte, durante i preparativi per la conquista di Istanbul, Fatih Sultan Mehmet dapprima rafforzò Anadolu Hisarı circondandola con mura. In seguito, volle assumere il pieno controllo del passaggio dal Bosforo costruendo una seconda fortezza sul lato opposto, e per questo motivo fu eretta Rumeli Hisarı.
Secondo i documenti, la fortezza, il cui progetto originale fu disegnato da Fatih Sultan Mehmed, vide l'impiego di 1000 artigiani e oltre 2000 operai che lavorarono giorno e notte durante la sua costruzione, completata in 4 mesi. Le tre torri sui bastioni furono costruite dai visir di Fatih, Halil Pasha, Zağanos Pasha e Saruca Pasha.
Con la conquista di Istanbul, cessò la funzione sia dell'Anadolu Hisarı che della Rumeli Hisarı. È noto che, dopo la conquista di Istanbul il 29 maggio 1453, queste prigioni vennero utilizzate come luogo di punizione per i giannizzeri criminali e di detenzione per i membri del consolato che combattevano contro lo Stato.
La fortezza fu riparata nel 1918 , completamente rinnovata nel 1953 e l'area dove si trova il minareto di un'antica moschea fu trasformata in un teatro all'aperto. Tra le architetture del Bosforo, Rumeli Hisarı si distingue immediatamente e oggi ospita concerti, spettacoli teatrali e una varietà di attività culturali e artistiche.
