C'est au cours de la Seconde Guerre Mondiale que la famille Hermès décide d'installer un jardin sur le toit de l'immeuble de leur boutique. Le gravier laisse place alors à un potager. A la fin de la guerre, ce dernier est remplacé par un jardin d'agrément où venaient très souvent jouer les filles puis les petits-enfants d'Emile-Maurice Hermès, dont Jean-Louis Dumas.