Więzienie przy ul. Zamkowej powstało w latach 1826-1828 i funkcję więzienia pełniło do lat 70-tych XXw., pod panowaniem kolejnych rządów polskich, zaborczych i okupacyjnych. Początkowo w okresie Królestwa Kongresowego, jako więzienie polskie, obejmowało początkowo wyżej położone pawilony. Pod rosyjskimi rządami zaborczymi zostało powiększone do obecnych rozmiarów. Pod zaborem rosyjskim w latach 1863-66 oraz 1905-08 przebywało tu wielu więźniów politycznych. Najbardziej tragicznym okresem w dziejach wiezienia były lata 1939-1956. We wrześniu 1939r. Niemcy umieścili tu punkt zborny dla polskich jeńców. Nocą 9 września 1939r. w masakrze sprowokowanej przez niemieckich strażników 19 jeńców zostało zastrzelonych i około 40 rannych. Później nadzór nad więzieniem przejęło gestapo. Do końca okupacji przez więzienie przeszło około 16 tys. więźniów. Jednorazowo przebywało w gmachu przy Zamkowej ok. 2 tys. ludzi, przy pojemności więzienia ok. 400 osób. Więźniowie przebywali w strasznej ciasnocie, byli głodzeni, maltretowani, zabijani na terenie więzienia, wywożeni na rozstrzelanie, wywożeni do obozów koncentracyjnych i na przymusowe roboty.