Nad přestavbou zpustlého gotického hradu v reprezentační renesanční zámek s arkádami začal dohlížet nový císařský stavitel Bonifác Wolmut. K prvním úpravám už došlo patrně roku 1548 za vedení G. B. Aostalliho (známého též přestavbou zámku Litomyšle). Práce podle všeho projektoval Hans Tirol, který dozor vykonával až do roku 1557. Závěrečné renesanční úpravy proběhly v letech 1579—1582, již za řízení Ulrica Aostalliho. Tehdy fasádu zdobila sgrafita.