En 1681 y en 1717, las instalaciones de San Lázaro sufrieron daños muy severos. En 1734 fue diseñado un edificio más estable y resistente, aunque el leprosario dejó al fin de cumplir su misión. Entre 1834 y 1873 los planes municipales dieron con una nueva finalidad para el lugar, que pasó a convertirse en cementerio. A ese período corresponde la actual ermita, cuya imagen característica se complementa con una cruz de piedra que instalaron en 1922. Al igual que sucede en otras ciudades de alto linaje, el camposanto reune los restos de personajes célebres. En este caso, cabe mencionar los del corregidor José María Palomo y Montúfar, que reposan a la sombra de la cruz antes citada.

Diversas restauraciones, en especial la de 1981, han corregido los efectos de los terremotos sobre el templo. No obstante, a pesar de esa introducción de elementos modernos, aún conserva la austeridad característica de las ermitas antigüeñas. Tiene razón el polígrafo inglés John Ruskin (1819-1900). Una iglesia como ésta no precisa de ningún ornato esplendoroso, visible.
.