Le groupe est formé fin 2003 par Dave Hause, dont le groupe The Curse

Le groupe est formé fin 2003 par Dave Hause, dont le groupe The Curse venait de se séparer, bien qu’il soit toujours dans Paint It Black . Il est rejoint par Michael « Spider » Cotterman, ancien bassiste de Kid Dynamite pour qui Hause était roadie , et Michael Sneeringer, batteur de Trial by Fire. En juillet 2004 , Hause quitte Paint It Black pour se concentrer sur The Loved Ones . La première sortie du groupe est une démo auto-éditée de quatre chansons en 2004 . L’année suivante, ils sortent un EP , The Loved Ones , sur Jade Tree Records .