1570 vertauscht Friedrich von Seydewitz (Meißnischer Uradel, vgl. den Ort Seydewitz an der Elbe in der Nähe von Strehla), Herr auf Schwetitz, Borschütz und Packisch seine drei Güter mit dem Landesherrn und wird Besitzer des Rittergutes Pülswerda. Danach ist Pülswerda für über 300 Jahre im Besitz der Familie. In der Folge wird wohl ein Renaissanceschloss erbaut, von dem sich nur noch Bauteile im jetzigen Keller des Schlosses erhalten haben.

1767 erbaute Curt Gottlob Graf von Seydewitz (geboren am 13.Mai 1735, vermählt am 30. November 1765 mit Dorothea Charlotte Henriette von Nischwitz, gestorben am 11. Dezember 1809 zu Großenhain) das Schloß zu Pülswerda in barocken Formen, wovon im aktuellen Baukörper nur noch das barocke Eingangsportal erhalten ist. Curt Gottlob Graf von Seydewitz besaß neben Pülswerda noch Kreinitz, Lorenzkirchen, Lobenthal und Fichtenberg (alle Orte in der Nähe von Mühlberg / Elbe).

Am 30.10.1785 wurde Hermann Ludwig Heinrich Graf von Pückler-Muskau auf Schloss Muskau geboren. In den Erinnerungen der Therese Charlotte von Seydewitz heisst es zu dem Umgang der jungen Mutter mit ihrem Sohn: "Sie war überglücklich und voller Übermut warf sie ihren Erstgeborenen in die Luft und fing ihn wieder auf. Später sagte ihr Sohn dann: es ist ein Wunder, dass meine Mutter mir nicht sämtliche Knochen zerbrochen hat, weil sie in meinen ersten Lebenstagen mit mir Fangeball gespielt hat."

1799 heiratet Reichsgraf Curt Friedrich August von Seydewitz die Gräfin Clementine Cunigunde Charlotte Louise Olga, geschiedene Gräfin von Pückler-Muskau, geborene von Callenberg, deren Mutter Marie Henriette Olympie comtesse von Callenberg aus einem in Allex an der Drôme ansässigen Zweig des französischen Geschlechts der de la Tour-du-Pin stammt. Damit beginnt die Beziehung des Schlosses Pülswerda zu Hermann von Pückler-Muskau, dem Sohn Clementines aus erster Ehe.

1813 wird das Rittergut Pülswerda vom Korps des General Lauriston 3 Tage lang geplündert. Diese Plünderung muss wohl nach dem 14.10.1813 gewesen sein, da an diesem Tag das bisher mit Frankreich verbündete Bayern diesem den Krieg erklärte. General Curt Friedrich August Graf von Seydewitz war im Dienst des bayerischen Königs. Bayern wiederum war in dem ab 1812 ausgebrochenen Krieg zwischen Frankreich (Kaiser Napoleon) und Rußland auf der Seite Frankreichs, wie auch Sachsen auf der Seite Napoleons kämpfte. Vom 16. bis 19.10.1813 fand die Völkerschlacht bei Leipzig statt, bei der die Truppen Österreichs, Rußlands, Preußens und der Schweden Napoleon schlagen. General Lauriston fiel bei der Völkerschlacht den Preußen in die Hände und wurde nach Berlin gebracht.