Lest We Forget: The Best Of

Considerat per Manson com el seu àlbum de «comiat», la compilació d’èxits titulada Lest We Forget: The Best Of va sortir el 28 de setembre de 2004 i promoguda per una gira anomenada Against All Gods Tour. La cançó triada per promoure la compilació va ser una «versió» de «Personal Jesus» originalment de la banda Depeche Mode , que va ajudar a l’àlbum a obtenir la certificació d’or a diversos països d’Europa, així com als Estats Units i Canadà.