Uno de los principales intentos del grupo era escribir este álbum

Uno de los principales intentos del grupo era escribir este álbum juntos en un lugar alejado de su entorno, como vocalista Luke Pritchard dijo a Newsbeat, «es como que nosotros mismos estuvimos en una especie de barricadas en el campo durante varias semanas- estuvieron en la cabaña de un amigo en Norfolk -». Sin embargo, la banda reveló recientemente que a las dos semanas de estar allí, solo se las arregló para hacer una nueva canción: «Eskimo Kiss». Después de la contratación y el despido del nuevo productor Jim Abyss ( Arctic Monkeys , Kasabian , Adele ) a pesar de tener algunas «sesiones muy buenas juntos», la banda volvió al viejo productor Tony Hoffer quien les dio una «nueva dirección», y grabaron el disco con un estilo contemporáneo como anteriormente. En enero de 2011, Pritchard anunció que habían registrado catorce nuevas canciones. La banda anunció a través de los medios de comunicación social que terminaron los toques finales el 30 de marzo. Por último, el nombre del álbum fue anunciado como Junk of the Heart y de lista de canciones se publicó, con una fecha de lanzamiento del 12 de septiembre de 2011 para el Reino Unido. El primer sencillo extraído del álbum en Europa se titula « Is It Me » y « Junk of the Heart » en otros lugares. Lanzaron su álbum Junk of the Heart en 2011, y han estado de gira desde entonces. Esto incluye la cabeza de cartel del «Groovin’ the Moo» gira de conciertos en Australia, en abril y mayo de 2013.