Abans de la publicació de The Gay Parade (1999), el seu tercer disc

Abans de la publicació de The Gay Parade (1999), el seu tercer disc, es van editar diversos singles i una reedició de The Bird Who Continues to Eat the Rabbit’s Flower . Molts membres del col·lectiu Elephant Six van contribuir a The Gay Parade i el disseny va anar a càrrec del germà de Kevin Barnes, David Barnes , que fins aquest moment ha seguit fent el disseny dels discos d’Of Montreal.