Il fit ses débuts à la guitare acoustique avec The Moldy Peaches. Après que ce groupe fut plus ou moins dissout, Goodshank commença une carrière solo prolifique, en faisant des tournées en Europe avec parfois Jeffrey Lewis ou Kimya Dawson (des Moldy Peaches). Après 14 albums solo en 5 ans, Toby Goodshank est devenu l'une des voix majeures de la scène underground newyorkaise, avec ses structures de chansons en dehors des conventions et des paroles surréalistes supportées par une approche très professionnelle de son travail.