Le marquis Jean-Ignace Froissard de Broissia, (1627-1694) maître des requêtes au Parlement de Franche-Comté, éminent philanthrope, créa en 1690 une Maison du Bon•Pasteur à Besançon, encouragé en cela par l'archevêque Antoine-Pierre le de Grammont. Son intention était de combattre l'immoralité grandissante de la jeunesse féminine de la ville, qui était confrontée aux nombreux militaires présents à Besançon, devenue capitale de la Franche-Comté. La ville était une importante place de garnison conquise par Louis XIV en 1674, définitivement annexée à la France en 1678 (par le traité de Nimègue).
Mais cet établissement n'était pas facile à gérer. Avec l'approbation du diocèse, le fondateur fait appel à des religieuses du Refuge de Nancy qui sont expérimentées dans ce service « d'aide aux pécheresses ». Cet ordre religieux a été fondé en 1631 à Nancy par Madame Elisabeth de Ranfaing (1592-1649) et a essaimé, entre autres, à Dijon puis à Rouen et enfin à Besançon.
L' édification des bâtiments, entre l'hôpital St-Jacques et l' hôtel de Montmarin, débuta par la pose de la première pierre, le 17 mai 1709. Trois architectes ont contribué aux plans et à l'exécution : Christophe André, un Nancéien, qui propose un projet avec une chapelle en croix latine, au centre de trois bâtiments parallèles reliés par des bâtiments perpendiculaires. Grâce aux deniers du comte de la Baume. un second architecte, Claude-Antoine Aillet, conduit la construction des résidences, et modifie le plan de la chapelle en proposant une forme circulaire. Mais les travaux sont interrompus au moment d'ériger cette chapelle, faute de moyens.