Depuis, son jeu soul et virtuose a été entendu aux côtés de certains des plus grands musiciens de jazz du monde, dont Sonny Rollins, Roy Hargrove, Renee Fleming, John Hicks et bien d'autres.

Il s'est produit au Blue Note, au Jazz Standard, au Fat Cat, et dans des salles de concert du monde entier. En plus d'enregistrer pour d'autres artistes, il a sorti deux albums en tant que leader, The Saul Rubin Quartet (2004), avec John Hicks, Gerald Cannon et Montez Coleman, et Saul Rubin : The Zebtet (2015), mettant en vedette Stacy Dillard, Johnny O'Neal et Fabio Morgera.

Il a également fondé le studio new-yorkais Zeb's, lieu de production et de concerts, et produit durant trois ans le NYC Jazz Guitar Festival.