Na rynku znajduje się także Kolegium Pijarów, rozbudowane w XVIII i XIX w. Z uwzględnieniem założeń projektowych Antoniego Solariego. W latach międzywojennych siedziba Okręgowej Dyrekcji Kolejowej. Obecnie znajduje się tam muzeum. Warto przy tej okazji wspomniec o murach miejskich. Budowane były wraz z zamkiem od 1364 przez Kazimierza Wielkiego. Posiadały ponad trzydzieści baszt oraz trzy bramy. Do dziś zachowały się fragmenty jednej z nich (tzw. "iłżeckiej") oraz fragment murów wtopiony w południowe skrzydło Kolegium oo. Pijarów.