Budynek został wzniesiony na przełomie XVII i XVIII dla Stanisława Lubomirskiego, który był marszałkiem wielkim koronnym. Architektem był słynny Tylman z Gameren. Kilkadziesiąt lat później pałac rozbudowano. Jest to barokowa budowla, wzniesiona na planie kwadratu z narożnymi alkierzami i wysuniętym ryzalitem.

Pałac kilkakrotnie zmieniał właścicieli. W XVIII wieku właścicielami byli Adam i Izabela z Flemingów Czartoryscy z Puław. W 1805 roku Czartoryscy pałac sprzedali.

Pod koniec XIX wieku mieściła się tutaj fabryka tabaki i tytoniu a na początku XX wieku… tor do jazdy na wrotkach. W 1912 roku ulokowano tu kinematograf Oaza a po I wojnie światowej powstało kino Corso. Po II wojnie światowej pałac odbudowano ze zniszczeń wojennych i zaadoptowano na potrzeby PTTK. Od 1972 roku mieści się tu siedziba Lubelskiego Towarzystwa Naukowego.