Bürger den Kurfürsten als Schiedsrichter gebeten hatten, nötigte dieser in den folgenden Verhandlungen den Bischof zum Tausch von Stolpen gegen Amt und Schloß Mühlberg, und so ging am 18, Januar 1559 Stolpen in kurfürstlichen Besitz über. Die Nachfolger Kurfürst Augusts brachten der Burg wenig Interesse entgegen, da ihnen ihre Residenz Dresden mehr am Herzen lag. Lediglich im Jahre 1675 erfolgte eine Verbesserung der Wehranlagen unter Leitung des Oberlandbaumeisters Wolff Caspar von Klengel, der Stolpen zur Festung ausbaute. Die erste Bewährungsprobe bestand Stolpen im Dreißigjährigen Kriege. Am 1. August 1632 steckten die kaiserlichen Kroaten, da sie die Festung nicht ein nehmen konnten, die Stadt in Brand. Dabei ging auch das Unterschloß und der siebenspitzige Turm mit in Flammen auf. Auch der schwedische General Bäner mußte dank der tapferen Verteidigung unter Lieutnant Hennig 1639 erfolglos abziehen. Bis auf kleinere Streifen der Schweden im Nordischen Kriege 1706 und der Preußen im ersten Schlesischen Kriege 1745 blieb Stolpen bis zu Anfang des Siebenjährigen Krieges unbehelligt. 1756 rückten die preußischen Truppen in Sachsen ein. Die Garnison Stolpen verließ auf Befehl die Festung. Nur eine aus Invaliden bestehende Wache blieb zurück, die einer am 3. September erschienenen preußischen Husaren streife keinerlei Widerstand leistete. Der damals 73jährige Kommandant Joh. Adolph von Liebenau wollte, angesichts der Aussichtslosigkeit eines Wider standes, seinen Degen überreichen. Ob aus Absicht oder mißverständlich auf gefaßt, schoß Oberstleutnant von Warnery (Puttkammersches Husarenregiment) diesem eine Kugel in den Leib. Jener Schuß, der bei dem traurigen Vorfall hier in Stolpen gelöst wurde, war der erste Schuß im Siebenjährigen Kriege. Die Festung wurde mit einem Kommando preußischer Infanterie belegt, das einen Teil der Festungsanlagen unbrauchbar machte und Gewehre, Pulver und Blei in den Brunnen warf.