Schloß Arenfels wurde 1259 von Gerlach von Isenburg als Burg direkt auf einen Felsen gebaut. Somit konnte das erforderliche Baumaterial gleich an Ort und Stelle gebrochen werden. Allerdings war der Wehrbau Gerlachs bei weitem nicht so groß wie das heutige Schloss.

Ein tiefabfallender Graben schützte die Burg nach Nordwesten hin. Die Nordost- und Ostseite der Anlage fand Schutz durch den starken und gut gelegenen Burgfried, der der Lage nach ebenfalls unverändert erhalten geblieben ist. Im Innenhof der Burg befand ein Ziehbrunnen, der bis auf den Grundwasserspiegel des Rheins herabreichte, bei Belagerungen ein nicht zu unterschätzender Vorteil.

Im 16. und 17. Jahrhundert gestaltete man die Burg in ein dreiflügeliges Schloß um, das sich zum Rhein hin öffnet. Unter dem Besitzer von der Leyen wurde Arenfels mit beachtlichem Aufwand zu einem bevorzugten Sommersitz ausgebaut.

Während des Jahres 1673 war Arenfels für kurze Zeit von Turrenne, dem bedeutendsten der Generale Ludwigs XIV besetzt. Nach dem Wiener Kongreß verblieb dem Fürsten von der Leyen das stark verschuldete Arenfels. Er zog sich dorthin zurück und in dieser Zeit begann der stetige Zerfall des Schlosses.

Wieder aufwärts ging es ab dem Jahr 1848, als die Familie Westerholt Schloss Arenfels erwarb. Der Graf beauftragte niemand geringeren als den berühmten Baumeister Zwirner mit einem gigantischen Umbau, der das Renaissanceschloss zu einen Bau der Neugotik machte. Dieser Umbau dauerte von 1849 bis 1855.

Schloß Arenfels wird auch "Schloß des Jahres" genannt. Dies ist auf 365 Fenster, 52 Türen und 12 Türme und Türmchen zurückzuführen.