Hieronim Bonaparte w 1807 roku nakazał wyburzenie murów obronnych okalających miasto. A Bastion Ceglarki jest jedną z niewielu pozostałości po nich.
