V roku 1750 bol kaštieľ prestavaný do barokovej podoby a v roku 1880 bol rozšírený o dve veže, takže v súčasnosti má štyri okrúhle nárožné veže.

Posledný vlastník kaštieľa Egon Rakovský sa stal v 20-tych rokoch maďarským štátnym občanom a kaštieľ s príslušnými stavmi si ponechal, ale nepoužíval ho. Role, lúky, lesy a pasienky prenajal statkárovi Obrcianovi, lebo sa sám zdržiaval v Maďarsku. Nábytok a celé zariadenie odviezol do Budapešti. Ponechal v ňom zariadené len dve izby, pre prípad, že by sa zdržiaval
v Liptovskej Štiavnici.

V roku 1944 je kaštieľ čiastočne zdemolovaný, pretože Egon Rakovský odchádza na jar ako major maďarskej armády do činnej vojenskej služby a celý svoj majetok zveril Eugénii Byckerovej, príslušníčke nemeckej národnosti. Táto pred povstaním z obce utiekla a kaštieľ zanechala napospas osudu.

V roku 1945 po oslobodení všetky cenné historické predmety zo zbierky Štefana a Egona Rakovského, ktoré ešte ostali v kaštieli, prevzalo Liptovské múzeum v Ružomberku, kde sa aj nachádzajú dodnes. V roku 1946 bol kaštieľ skonfiškovaný a stal sa vlastníctvom štátu.

V päťdesiatych rokoch bol kaštieľ opravený a v jeho priestoroch sa nakrúcali viaceré scény slovenského filmu Zemianska česť, nafilmovaného na motívy diela Jána Kalinčiaka Reštavrácia. Slovenská televízia tu nakrútila aj niektoré zábery tretieho dielu 13-dielneho seriálu Vivat Beňovský.

Do roku 1999 slúžil kaštieľ na cirkevné účely a konali sa tu pravidelne rímskokatolícke bohoslužby.
Pred dokončením nového kostola v obci prešiel kaštieľ do súkromného vlastníctva.