В началото на XIX век могъществото на Османската империя започва постепенно да намалява. Настъпва време на беззаконие и невъзможност за овладяване на положението в страната от властта. Анархията се разпространява със страшна сила и става неуправляема, дотакава степен, че започват да се оформят групи от разбойници, които преживявали от грабежите и нападенията върху раята. Въпреки че били предимно „турски хайдути“, те приемали и християни в своите дружини. Нападали безмилостно градовете и определяли откуп, който населението трябва да плати, за не бъде опожарено и разграбено селището.
Понякога кърджалийте ставали и наемници на влиятелни турски граждани, които воювали помежду си.
Разбойническото движение обхванало области като Силистренско, Плевенско, Търновско и други. Множество селища били ограбени и опустели, а населението трябвало да плаща солидни откупи, за да възпре набезите на разбойниците.
В началото на XIX век след големи опустошения в Балкана, еленчани също станали жертва на безсърдечните престъпници.
През 1800г. кърджалийте нахлули в Елена и опожарили църквата „Свети Никола“. Въпреки усилията на еленчани да отблъснат нашествениците, силите им нестигнали и освен църквата, и целият град изгорял.
След нападението еленското население решило да построи защитна крепост. На следващата година крепостта била издигната високо над града. Укреплението било построено от камък с масивен зид и бойници, откъдето да се стреля. Във вътрешността си крепостта била достатъчно голяма за да приюти хората от града и околните махали. Мястото било защитено допълнително от дълбок окоп.
През годините кърджалиите не спирали с набезите си върху еленчани. Запазени исторически сведения показват, че разбойниците са бушували в земите през 1804г., когато опожаряват Плаково, през 1812г. и други.
През 1812г. в Елена е построена Часовниковата кула, запазена и до днес. Тя приличала на бойна кула с военни отвърстия. В някои еленски къщи като Поп Миховата, Иларионовата и други имало подобни защитни приспособления.
В края на XIX век мерките на Османската империя за прекратяване на разбойническото движение дали резултат. Кърджалийството било елиминирано, но спомените за него дълго се помнели от населението.
