Após se formar no ensino médio, Mangum frequentou a Louisiana Tech

Após se formar no ensino médio, Mangum frequentou a Louisiana Tech University, mas abandonou o curso. Ele se mudou para Athens, Geórgia, e tocou em uma banda chamada Synthetic Flying Machine com Doss e Hart, mas saiu pouco depois da formação da banda. Ele então se tornou um nômade e morou em cidades como Denver , Los Angeles e Seattle . Mangum ocasionalmente gravou músicas durante esse período, incluindo um álbum demo de 1993 intitulado Hype City Soundtrack . Schneider diz que Hype City Soundtrack foi uma reação ao que Mangum acreditava ser a comercialização desenfreada da música nas grandes cidades. Enquanto morava em Seattle, Mangum superou sua apreensão em relação à indústria musical e lançou a música “Everything Is” pela Cher Doll Records. A exposição da música convenceu Mangum a gravar mais músicas sob o nome Neutral Milk Hotel. De acordo com Mangum: “O single foi uma dádiva de Deus porque eu estava praticamente no meu limite com quase tudo na minha vida naquele momento … Acabei enviando uma fita para [Nancy Ostrander] na Cher Doll Records e ela me salvou simplesmente dizendo que queria fazer um single.”