Im Jahr 1473 zogen sie aus, weil die Heimstatt nicht mehr schick genug war für die zu Macht und Einfluss gekommenen Herren von Breitbach. Aber es brauchte den Zweiten Weltkrieg und die darauf folgende Geschichtsvergessenheit der 1950er und 60er Jahre, um die Wasserburg mitten in Rheinbreitbach unter Schutt und Gestrüpp verschwinden zu lassen.