Архитектурный ансамбль кремля расположен в излучине реки Каменка, на его месте с 11 века (археологи считают, что с 10 века) находилась крепость. Она была окружена кольцом земляных валов протяженностью 1400 метров, на валах возвели деревянные стены и башни.