En 1947, Jean Cocteau achète, avec son ami Jean Marais, cette « Maison du Bailli » de Milly-la-Forêt à 50 km au sud de Paris, une ancienne dépendance du vieux presbytère Henri IV de douze pièces du château de Milly-la Forêt du XIIIème siècle dont les douves forment un cours d'eau qui traverse la propriété. Un site agréable et propice à la rêverie.
Il fit transformer le grenier en atelier d'été où il s'exerce au pastel et à la tapisserie. En 1955, il y conservait une boîte de 680 pastels - cadeau de Noël de son amie Francine Weisweiller - et y créa des cartons de tapisseries pour la Manufacture d'Aubusson.
Il y résidera durant 17 ans, d’abord occasionnellement, puis définitivement à partir du moment où il se lie avec son nouveau compagnon Édouard Dermit. Loin des tumultes de sa vie parisienne, Jean Cocteau y crée de nombreuses œuvres.
Cocteau y meurt le 11 octobre 1963. Il repose dans la chapelle de Saint Blaise des Simples, toute proche, qu'il avait décorée. L'édifice religieux, inscrit au titre des monuments historiques depuis 2015, est un vestige d’une ancienne maladrerie. Il accueille chaque année plus de 15.000 visiteurs.
Édouard Dermit hérite de la demeure, l'habite et conserve les œuvres et objets du poète jusqu’à sa disparition en 1995, date où son fils Stéphane devient le conservateur du lieu.
En 2002, Pierre Bergé président de l’Association « Maison de Jean Cocteau » à Milly-la-Forêt, achète la demeure et lance une importante campagne de rénovation de cinq ans entre 2005 et 2010 pour un montant de 5 millions €. Le musée est inauguré par le ministre de la Culture Frédéric Mitterrand et ouvert au public le 24 juin 2010.
La demeure est constituée de trois pièces : le grand salon au rez-de-chaussée, la chambre et le bureau au premier étage. Ils sont tels que Cocteau les a laissés à sa disparition, avec meubles, objets de décoration, photographies, manuscrits, lettres, journaux… La salle d’exposition temporaire de 100 m2 présente tour à tour les 500 œuvres - sur environ 3000 au total - dont l’Association Maison de Jean Cocteau est dépositaire : portraits de Jean Cocteau réalisés entre autres par Andy Warhol, Modigliani, Picasso, Buffet, Man Ray et Cocteau lui-même. Mais aussi des affiches de films et pièces de théâtre, des moulages en plâtre, objets insolites, livres reliés, etc…
C'est la maison qui m'attendait. J'en habite le refuge, loin des sonnettes du Palais Royal. Elle me donne l’exemple de l’absurde entêtement magnifique des végétaux. J’y retrouve les souvenirs de campagnes anciennes où je rêvais de Paris comme je rêvais plus tard, à Paris, de prendre la fuite. »
Jean Cocteau - "La Difficulté d’être"
À sa mort en 1963, Cocteau voulut être enterré dans ce lieu, son corps fut transféré en 1964 dans la chapelle qu'il avait décorée, son caveau étant recouvert d'une pierre tombale offerte par Francis Palmero, sénateur-maire de Menton, dont Jean Cocteau était citoyen d’honneur. Cocteau se contenta de faire graver sur la dalle l'épitaphe portant son écriture « Je reste avec vous ». En 1964, le sculpteur Arno Breker offrit un buste en bronze de Cocteau et en 1971 il fit don de deux vitraux pour le 7ème anniversaire de sa mort. Son fils adoptif Édouard Dermit fut inhumé dans le même caveau en 1995.