Pierwszym właścicielem pałacu był marszałek wielki litewski Władysław Roch Gurowski. Jak nietrudno się domyślić obecną nazwę zawdzięcza dopiero późniejszym właścicielom – rodzinie Działyńskich, która przejęła pałac w 1808 r.
Na fasadzie budynku znajduje się pochodząca z końca XVIII wieku attyka z tympanonem, w którym znajduje się herb Działyńskich - Ogończyk. Na attyce widnieją płaskorzeźby przedstawiające rzymski pochód z jednej strony ofiarny, a z drugiej triumfalny. Na szczycie attyki wznosi się ścięty obelisk na którym siedzi pelikan mający symbolizować ofiarność i poświęcenie.