В народе, впрочем, он слывет исключительно под именем «Литовского замка» – название, данное от соседства с Литовским рынком.

Над домом вечного позора
Стоят два ангела с крестом.
И часовые для дозора
Внизу с заряженным ружьем.
Серо, мрачно… В окне решетка,
За нею – воля впереди, —
Но звук шагов считаешь четко,
То будто звук: «сиди, сиди!»…

Так когда-то сложил стихи про Тюремный замок один из арестантов, и стихи эти сделались весьма популярны в среде заключенников.