Wskazać jednakże należy, iż okresie okupacji hitlerowskiej, na Zamku w Lublinie znajdowało się więzienie śledcze gestapo. Zgodnie z danymi historycznymi przez więzienie to przeszło wówczas około 40.000 osób. Nie jest możliwe podanie łącznej liczby ofiar zbrodni nazistowskich tam dokonanych z uwagi na to, iż nie zachowała się dokumentacja kancelarii więzienia gestapo (ewidencja więźniów ). Z więzienia na Zamku, Niemcy wywozili osoby tam osadzone do obozów koncentracyjnych oraz na miejsca egzekucji na terenie okupacyjnego dystryktu lubelskiego. Nie zdołano dotychczas ustalić pełnej listy miejsc straceń tych osób na wskazanym terenie. Niemcy dokonali ostatniej masowej egzekucji więźniów na Zamku, w dniu 22 lipca 1944 r. Stracono wówczas około 300 osób natomiast około 1000 więźniów odzyskało wolność wraz z opuszczeniem Lublina przez Niemców – zachował się dokument stwierdzający stan więźniów na Zamku aktualny na dzień 20 lipca 1944 r.
Przez pewien okres po wkroczeniu do Lublina Armii Czerwonej, porządkowano teren więzienia na Zamku, które w dalszym ciągu miało pełnić tę samą rolę co w okresie okupacji niemieckiej. Najpierw administrację więzienia przejęło NKWD dopiero później przeszło ono pod administrację Departamentu Więziennictwa MBP. Jak wynika z zapisów dokonanych w księgach głównych więźniów na Zamku, pierwsi więźniowie okresu stalinowskiego zostali tam osadzeni w trzeciej dekadzie sierpnia 1944 r. Więzienie na Zamku funkcjonowało do lutego 1954 r. – ostatni więźniowie zostali wywiezieni do Zakładu Karnego w Chełmie, w dniu 11 lutego 1954 r. W tym czasie Zamek zaczęto przygotowywać jako obiekt dla placówek kulturalnych, na obchody X rocznicy powstania PKWN.
W okresie stalinowskim więzienie na Zamku miało charakter karno – śledczy. Osadzano w nim aresztowanych przetrzymywanych do spraw sądowych, głównie za działalność w organizacjach walczących na rzecz niepodległego bytu Państwa Polskiego. Osoby skazane na długoletnie kary więzienia wywożono do zakładów karnych na terenie kraju. W piwnicach budynku administracyjnego więzienia na Zamku wykonywane były wyroki śmierci wydawane przez sądy lubelskie. Pierwsza egzekucja została dokonana w dniu 15 listopada 1944 r. w wykonaniu wyroku Sądu Wojskowego Lubelskiego Garnizonu. Łącznie w miejscu tym, w okresie stalinowskim, dokonano egzekucji około 1000 skazanych. Z zapisów w księgach więziennych wynika, że w tym czasie w więzieniu na Zamku osadzonych było łącznie około 35.000 osób. Wykonywane tam wyroki śmierci odnotowywano w odpowiedniej rubryce ksiąg więziennych, zamieszczając sformułowanie: „ubył”.