In de jaren vijftig ontstond het idee de De Ridderstraat en de Keizerstraat te verbreden. In 1957 werd het Koninklijk Besluit daartoe goedgekeurd. De verwervingen in der minne en de verwaarlozing van de panden die toch zouden verdwijnen, namen een aanvang. In 1968 werd het oud-vrouwtjeshuis, dat over de nieuwe rooilijn kwam, gesloopt. In de jaren 1970 besefte iedereen dat die verbreding een stommiteit zou zijn. In april 1974 keerde Bert Van Hoorick zich in de gemeenteraad tegen het verdwijnen van de pittoreske straatjes, hierin gesteund door de V.V.A.K. Schepen De Neve en zowat alle raadsleden volgden hem: de plannen verdwenen in een of andere bureaulade op het stadhuis en waren in 1980 definitief afgevoerd; vier jaar later werden de smalle stoepen van de Ridderstraat verbreed en het Keizerstraatje herlegd.
Hieronder een schets van de geplande urbanisatiewerken, in de Gazet van Aalst van 20 juni 1964.
Bemerk de geplande afbraak van de pupillen, de hoogbouw die in de plaats zou komen, de doorsteek naar de Graanmarkt van de verbrede Peperstraat en een nieuwe straat tussen de achterkant van het stadhuis en de pupillen.
