Давид Иванович Хлудов потратил на благотворительность все свое огромное состояние. В конце жизни он вовсе разорился, продал родительский дом и перебрался в маленький домик на окраине города. Хлудов никогда не жалел об отданных миллионах, скорее наоборот – был рад своей судьбе. Последние годы жизни он провел как монах, никуда не выходил, только читал Священное Писание и духовные книги. Перед смертью Давид Иванович тяжело болел, но продолжал посещать богослужения в устроенной им прямо в доме церкви. Умер он в 1886 году в возрасте шестидесяти трех лет. В Ризоположенской церкви на Донской улице состоялось отпевание, на котором отец Василий Руднев произнес глубокую и искреннюю речь: «Он делал добро не из-за наград – не напоказ. Знаков отличия он не искал, ими не особенно интересовался, возлагал на себя очень редко и сделал завещание, чтобы при гробе его их не выставлять и в похоронной процессии не нести... Мысль о смерти не страшила его; одного только он боялся, как бы не умереть внезапно. «Лучше похворать, – говорил он, – похвораешь, приготовишься». И Господь исполнил это святое желание его; пред смертию ему послана была болезнь и болезнь тяжелая, продолжительная; к прежней внутренней болезни присоединилась новая: перелом бедренной кости, раны на ногах, пролежни на спине. Окружающие не могли без слез смотреть на него, воображая, как должны быть ужасны страдания его; а он терпел, молился и благодарил…