Часть песен на альбоме была создана одновременно с композициями её первого альбома «Suzanne Vega» (1985), но они не нашли своего места в его концепции. Такие треки, как загадочная а капелла «Tom’s Diner» и лирическая «Gypsy», раскрыли свой потенциал только в рамках «Solitude Standing», где они вписались в коллекцию музыкальных сказаний. Эти песни, написанные в разнообразных стилях и аранжированные с участием группы, отражают совместное творчество Веги и её гастрольного коллектива, чьи имена украшают альбом в качестве соавторов.