A l'origine Passy était un hameau fondé par les bûcherons de Nigeon, qu'une charte de 1250 cite pour la première fois. Sous l'Ancien Régime la découverte d'eaux sulfatées et ferrugineuses commença de le rendre célèbre. Les eaux de Passy étaient, dit-on, aussi réputées que celles de Spa ou de Forges.

La célébrité du lieu atteignit son apogée au XVIIIème siècle par l'entremise de financiers qui y firent construire des châteaux. Le château de Boulainvilliers qui avait appartenu au XVIIème à Claude Chahu, seigneur de Passy, fut loué au XVIIIème par le fermier général La Pouplinière qui y donna des fêtes célèbres.