Ab 1811 nutzte die französische Verwaltung die Gebäude erstmals säkular als sogenanntes Bettlerdepot. Dort wurden Menschen festgehalten, die als arm oder arbeitsscheu galten, und zur Arbeit verpflichtet. Nach dem Übergang des Rheinlands an Preußen im Jahr 1815 entstand auf dem Gelände die Provinzial-Arbeitsanstalt Brauweiler. Sie entwickelte sich im 19. Jahrhundert zu einer der größten Arbeitsanstalten im Deutschen Reich. Ziel dieser Einrichtungen war es, gesellschaftlich ausgegrenzte Menschen zu disziplinieren und abzuschrecken. In Brauweiler arbeiteten Frauen, Männer und Jugendliche unter anderem in der Textilproduktion, in Handwerksbetrieben, in der Landwirtschaft und in einer Ziegelei.