Le groupe est formé en juin 2004 de la séparation de deux groupes et

Le groupe est formé en juin 2004 de la séparation de deux groupes et se composait du chanteur de Scraps and Heart Attacks Travis Reilly, ainsi que des membres de The Backup Plan Joe Osolin ( guitare électrique ), Jeff Tiu ( basse ) et Dan Bourke (batterie). Rick Jimenez rejoint le groupe en tant que deuxième guitariste. Quant au nom du groupe, il s’inspire de la chanson homonyme d’ Elvis Costello .