Im Jahre 1833 fand sich eine Anzahl Männer in der Düsseldorfer Altstadt zusammen, um „gesellige Unterhaltung“ zu pflegen. Dazu war eine Lokalität vonnöten, die man in einer Gaststätte mit dem vermutlichen Namen „Ludwigsburg“ (der später der Name der Gesellschaft wurde) fand. Die Mitgliedschaft in dieser neuen Gesellschaft wuchs rasant, zeitweilig hatte sie bis zu 700 Mitglieder!
Der vielen Mitglieder wegen entschloss man sich, auf einem passenden Grundstück in der damaligen Steinstraße 1867 ein repräsentatives eigenes Haus zu schaffen. Es entstand ein imposanter, neoklassizistischer Bau, der am 23. Oktober 1869 festlich eingeweiht wurde. Im Sinne der Satzung fand die Gesellschaft in diesem Haus ein reges Leben mit vielen frohen Festlichkeiten.
Die finanziellen Lasten trugen unsere Mitglieder mit ihren Beiträgen. Auch der schwunghafte Weinhandel deckte einen Teil der Kosten, ebenso wie die Mietparteien, zu denen zeitweilig der Männerchor 1904, der Ingenieurverein, ein Schachklub, der Kaufmännische Verein, die Gesellschaft Schlaraffia, die Düsseldorfer Börse und andere, gehörten.
Das in den zurückliegenden Zeiten überwiegend frohe Zusammensein der Gesellschaft wurde jäh unterbrochen, als in der Nacht vom 11. Juni 1943 unser Haus durch Bomben völlig zerstört wurde. Das Leben der Gesellschaft rührt sich erst 1947 wieder. Im Juni 1948 beschließen die verbliebenen Mitglieder, sich eine Heimstatt in den Kellern des zerstörten Hauses einzurichten. Schon Ende Oktober des Jahres halten sie nach dem Krieg ihre erste Versammlung im „Burgkeller“ ab. Die Mitglieder lernen dieses Provisorium schätzen, ihre Zahl wächst beträchtlich.
Als das Düsseldorfer Weinhaus Bettermann auf der Josephinenstraße 9 zum Verkauf angeboten wurde, ging es am 11. Juni 1954 in den Besitz der Ludwigsburg über. Über 40 Jahre fand das Leben der Ludwigsburger in diesem sehr repräsentativen Haus einen geeigneten Rahmen.
Leider standen die Sterne für dieses Haus nicht günstig. Hohe Renovierungskosten verbunden mit erheblichen Aufwändungen für den Denkmalschutz und der Verlust eines wichtigen Mieters führten Mitte der 90er Jahre zu absehbaren aber nicht zu überwindenden Problemen für die Burg. Eine türkische Bank fand sich als Käufer für das schöne und attraktive Haus. Durch diesen Umstand wurden die finanziellen Probleme gelöst.
Im Sommer 1999 erwarb dann die Ludwigsburg ihr heutiges Haus auf der Claudiusstraße 17 in Düsseldorf-Lohausen, eine moderne Villa mit hervorragenden Gartenanlagen und geeigneten Räumlichkeiten. Dort findet das heutige Leben der „Gesellschaft zur Ludwigsburg“ mit den mittwöchlichen Zusammenkünften, Vorträgen und Festen statt.