Sous l'amicale pression de son ami Auguste Renoir, le peintre Albert André accepta en 1917 de devenir conservateur du singulier bazar que constituait alors le musée fondé par Léon Alègre. Il trouva dans les greniers de l'hôtel de Ville deux toiles de Matisse envoyées par l'Etat et que son prédécesseur n'avait pas voulues. Il dégagea une salle pour les y accrocher. Le premier musée d'art contemporain de province venait de naître !
En 1923, après l'incendie détruisant une partie des collections, l'artiste raconta à ses amis qu'il était conservateur d'un musée aux murs vides. Aussitôt, les dons affluèrent de toutes parts : Monet, Marquet, Signac, Bonnard, Valtat, mais également Vollard et Durand-Ruel. Les artistes, galeristes et collectionneurs en firent ainsi le musée de l'amitié.
George Besson, critique d'art et journaliste, partisan inconditionnel de l'art figuratif, soutint, dans les années 1950, le courant identitaire de la Jeune Peinture et enrichit ainsi sa collection personnelle. Au soir de sa vie, il décida d'offrir à la Nation les peintures qu'il avait rassemblées et choisit deux musées pour abriter ses dons : celui de Besançon et celui de Bagnols-sur-Cèze, le musée de l'amitié d'Albert André.
Les ?uvres ainsi réunies présentent un panorama de la peinture figurative du XXe siècle unique dans la région.