In We Can Get Together, op hun nieuwe album Heaven Is Whenever, zingt de Hold Steady over een meisje dat zegt dat Heavenly was cool, I think they were from Oxford. I only had one single, it was a song about a pure and simple love. Doorgewinterde Hold Steady-watchers opperen dat het hier zou gaan om Our Love Is Heavenly alhoewel het daar bij nadere bestudering van de tekst lijkt te draaien om een I die de you duidelijk maakt dat I in kwestie een ander heeft dus zo pure en simple is dat allemaal niet. Maar ook, I still spin that single but it don't sound that simple anymore. Heavenly kwam inderdaad uit Oxford.