Commencé en 1843 selon les plans de l'architecte de la ville, Brunet-Debaine, le musée des Beaux-arts est inauguré en 1845. 

Construit à l'emplacement de l'ancien Logis du Roy, au bout de la rue de Paris, il abrite les collections d'Histoire naturelle et d'Ethnographie, la Bibliothèque municipale et les peintures et sculptures appartenant à la Ville du Havre. 

En 1881, le muséum d’Histoire naturelle quitte les lieux pour s’installer dans l’ancien palais de justice, place du vieux marché (ancienne place des cannibales), en 1904 la bibliothèque est accueillie dans le lycée François 1er (ancien lycée de garçon). En 1926, s’ouvre le musée de Graville avec les collections archéologiques, la statuaire et le mobilier ancien.

Se spécialisant dans le domaine des beaux-arts, le musée s'oriente vers l’art moderne.

Le musée des Beaux-Arts du Havre disparaît dans les bombardements de la ville en septembre 1944 mais ses collections, la plupart évacuées, sont pour l’essentiel préservées.