Начальство не любило Ермолова за независимый, гордый характер, за резкость, с которою он высказывал свои мнения; чем выше было поставлено лицо, с которым приходилось иметь дело Ермолову, тем сношения его с ним были резче, а колкости ядовитее.
Известен ответ его Аракчееву на замечание последнего, что лошади его роты дурны: «К сожалению, ваше сиятельство, участь наша часто зависит от скотов».
Но, будучи резок и даже дерзок с высшими, Ермолов был обходителен и вежлив с низшими. Он умел ценить заслуги и до конца дней своих оставался лучшим ходатаем и защитником своих подчиненных. «Ты не худо делаешь, что иногда пишешь ко мне, ибо я о заслугах других всегда кричать умею», — писал он Денису Давыдову, и имел право говорить таким образом.