Au début du XXe siècle, la famille Jouve fait l'acquisition de l'ancien hôpital hôtel-Dieu, abandonné au profit d'un nouvel hôpital, avec l'idée d'en faire un musée.
Dès 1912, Marie-Thérèse Jouve, la cadette de la famille, imagine la création d'un musée dédié à l'archéologie locale. Le musée sera officiellement créé en 1946 par André Dumoulin, le premier conservateur des musées de Cavaillon.
Propriété de la Fondation Calvet depuis 1937 et classé au titre des Monuments Historiques, le bâtiment accueille le musée archéologique de l'hôtel-Dieu (Musée de France) qui présente des collections du territoire de Cavaillon depuis la Préhistoire jusqu'à la période moderne.