Zu Beginn des 20. Jahrhunderts erwarb die Familie Jouve das ehemalige Krankenhaus Hôtel-Dieu, das zugunsten eines neuen Krankenhauses aufgegeben wurde, mit der Idee, es in ein Museum umzuwandeln.
Im Jahr 1912 stellte sich Marie-Thérèse Jouve, die jüngste der Familie, die Gründung eines Museums vor, das der lokalen Archäologie gewidmet war. Das Museum wurde 1946 von André Dumoulin, dem ersten Kurator der Cavaillon-Museen, offiziell gegründet.
Das Gebäude ist seit 1937 Eigentum der Calvet-Stiftung und steht unter Denkmalschutz. Es beherbergt das Archäologische Museum des Hôtel-Dieu (Museum von Frankreich), das Sammlungen aus dem Gebiet von Cavaillon von der Vorgeschichte bis zur Neuzeit präsentiert.