L’any 2010, Jeff Mangum va realitzar diversos concerts en solitari

L’any 2010, Jeff Mangum va realitzar diversos concerts en solitari, abans d’iniciar una gira que va tenir lloc el 2011 i 2012 . Aquell mateix 2011 , Neutral Milk Hotel, després de 10 anys d’absència, va publicar el lot recopilatori en format físic Walking Wall of Words , que contenia tota la seva discografia oficial i també gravacions fins llavors inèdites: l’EP de vuit cançons Ferris Wheel on Fire , el senzill « Little Birds », un senzill amb versions alternatives de «You’ve Passed» i «Where You’ll Find Me Now» de On Avery Island i tres temes inclosos a Everything Is («Here We Are», «Ruby Bulbs» i «Unborn»). Tot aquest material anteriorment inèdit havia estat escrit entre 1992 i 1999 , i gravat durant els anys 90 i 2000 . Aquests fets van disparar rumors de que Neutral Milk Hotel s’anava a reunir de nou, i finalment així va ser.