A fondé avec son frère, en 1822, le Bonheur des Dames, magasin de nouveautés, situé carrefour Gaillon, au coin de la rue Neuve-Saint-Augustin et de la rue de la Michodière. Les Deleuze sont apparentés à plusieurs commerçants du quartier. À la mort de Deleuze aîné, sa fille unique, Caroline, devenue madame Hédouin, hérite de lui et devient copropriétaire du magasin.
(Pot-Bouille)
Les débuts du Bonheur des Dames ont été modestes. En 1822, la boutique avait seulement une vitrine sur la rue Neuve-Saint-Augustin, un vrai placard, où deux pièces d’indienne s’étouffaient avec trois pièces de calicot ; on ne pouvait se retourner tant c’était petit. À cette époque, le Vieil Elbeuf, fondé par le drapier Aristide Finet, était la maison la plus forte, la plus richement achalandée du quartier.
(Au Bonheur des Dames)