Kolejną z atrakcji są ruiny gotyckiego zamek Pileckich. Właścicielem jego był Otto z Pilczy herbu To­pór, zwany Wielkim. On też pewnie wzniósł nowy, murowany, gotyc­ki zamek z kamienia łamanego, którego fragmenty do dziś się za­chowały. Pierwotny, drewniany zamek wznosił się tu już w XIII w., praw­dopodobnie na miejscu wcześniej istniejącego grodu. W 1300 roku, podczas walk Władysława Łokietka z czeskim królem Wacławem II o tron polski, zamek został spalony.

W 1570 dobra pilickie nabył Filip Padniewski dla swego brata Woj­ciecha, który to rozbudował zamek w stylu renesansowym. Gdy tylko wzgórze smoleńskie okazało się niesprzyjające dalszym przebudowom zamku, Wojciech wystawił nowy zamek w pobliskiej Pilicy i ostatecznie opuścił Smoleń.

Od tej pory zamek niszczał i tracił na znaczeniu. Ostatecznie w 1655 zamek zdo­byli i spalili Szwedzi. Mimo kilku prób odbudowy i renowacji zamku, jego stan ciągle się pogarszał i ostatecznie zamek popadł w ruinę.