Ванновский был полной противоположностью просвещенному и «либеральному» Милютину. В сравнении с Милютиным он был обскурантом - своего рода «военным Победоносцевым», а по характеру - вторым Паскевичем. Человек в высшей степени грубый и придирчивый, он деспотически обращался с подчиненными. Служить с ним было очень тяжело, и редко кто выносил это сколько-нибудь продолжительное время. «Ведь я собака, - любил говорить Ванновский своим подчиненным, - я всех кусаю, никому дремать не даю, а потому и порядок такой, какого, может быть, ни у кого нет; когда вы будете начальниками, советую вам тоже быть собаками».