Z budovy postavenej koncom 14.storočia na brehu riečky Revúcej tesne pred vtokom do Váhu sa nezachovalo takmer nič, pretože komplex budov, dnes už pospájaný do jedného objektu kaštieľa, bol tak často prestavovaný a dopĺňaný, že najstaršie menšie zachované detaily sú iba zo 17.storočia.

Kaštieľ bol majetkom likavského hradného panstva a určite mal najzákladnejšie fortifikačné náležitosti. Známe väčšie historicky zaznamenané prestavby sa začínajú rokom 1577 (pamätná tabuľa), tak isto ako prístavby východnej časti z roku 1629. O kaštieľ sa bojovalo za Tokolyho povstania v roku 1678.

Po demolácii Likavského hradu v roku 1707 za Rákócziho povstania sa kaštieľ stal sídlom likavského panstva. V 18.storočí ho doplnili hospodárskym dvorom (mlyn, píla, pálenica atď.). Celý rad zmien vo využití prekonali budovy kaštieľa v nasledujúcich dvoch storočiach.
V pol. 19.storočia tam umiestnili súdne inštitúcie (sedriu, väznicu), potom kasárne.
Vtedy už boli budovy pospájané do jedného celku.

Budova kaštieľa je prakticky najstaršou stavebnou pamiatkou Ružomberka. I keď sa okrem historických správ a niekoľkých detailov (konzoly a klenby zo 17.st.) nezachovala pôvodná podoba, patrí predsa k nepočetným príkladom objektov, ktoré už v období svojho vzniku mali aj názov kaštieľ. Kaštieľ sa stal príbytkom mnohých významných hostí (kráľ Žigmund, G. Bethlen, poľský kráľ Kazimír, F. Wesselényi).

Kaštieľ je v súčasnosti zrekonštrovaný (aspoň navonok) a spojený s čudnou architektúrou obchodu Hypernova, ktorý zaplatil jeho obnovu. O jeho ďalšom využití sa vedú dohady.