1916 wurde es zusammen mit dem Justizgebäude als Gerichtsgefängnis eingeweiht. Während sich die Nutzung des repräsentativen Justizgebäudes im Laufe der Jahre änderte, wurde die Haftanstalt bis 1989 kontinuierlich als Untersuchungsgefängnis genutzt.

Seit 1933 war sie jedoch vor allem ein Ort des Leidens für politische Gefangene. Zur Zeit des Nationalsozialismus wurde im Gerichtsgebäude das gesamte Spektrum der Hitler-Gegner abgeurteilt: Kommunisten, Juden, Pastoren, Zeugen Jehovas und auch einfache Bürger.
Nach dem Krieg übernahm im Juli 1945 der sowjetische Geheimdienst NKWD das Gebäude. Gleichzeitig tagte hier ein sowjetisches Militärtribunal (SMT). Neben Belasteten des NS-Regimes wurden in den folgenden Jahren auch tausende völlig willkürlich festgenommene Bürger aus ganz Mecklenburg-Vorpommern in der Haftanstalt untergebracht und vom SMT verurteilt.

Mit Beginn des Jahres 1954 ging das Gebäude am nunmehrigen Demmlerplatz offiziell in die Rechtsträgerschaft des Ministeriums für Staatssicherheit über. Auch das Gefängnis am Schweriner Demmlerplatz war Teil des allgemeinen Gefängnissystems des MfS.