« Fils de paysan et fils de mes oeuvres, je suis resté paysan avec le ferme désir de mettre en évidence le pouvoir d'une volonté énergique et d'un travail soutenu », a écrit Joseph Ferdinand Cheval, le 3 décembre 1911, dans un de ses cahiers. Né le 19 avril 1836 à Charmes-sur-l'Herbasse dans la Drôme, Joseph Ferdinand Cheval était facteur des Postes. Pendant vingt-neuf ans, il a déambulé dans la campagne drômoise, de Hauterives à Tersanne. Parcourant chaque jour une trentaine de kilomètres à pied, le facteur aimait se laisser aller à ses pensées. « Pour distraire mes pensées, je construisais en rêve, un palais féerique dépassant l'imagination, tout ce que le génie d'un humble peut concevoir, avec grottes, tours, jardins, châteaux, musées et sculptures, cherchant à faire renaître toutes les anciennes architectures des temps primitifs », a-t-il déclaré.

Un autodidacte réservé
Ignorant totalement les secrets du monde de la maçonnerie, le facteur rural pensait son projet irréalisable. C'était sans compter sur un accident de parcours plus de dix ans plus tard. À 43 ans, il bute malencontreusement sur une pierre aux formes originales. Il n'en faut pas plus pour mettre en éveil ses songes antérieurs. La nature lui ouvrait les portes de son rêve et c'est donc par le hasard le plus complet qu'il commença, à chacune de ses tournées, à rassembler dans ses poches ou sa brouette, « sa compagne de labeur » comme il aimait la définir, toutes les pierres qu'il pouvait trouver sur son chemin. L'année 1879 marquera ainsi le début de sa folle aventure pour concrétiser son rêve de toujours : édifier un palais féerique dans son potager. « Le Temple de la Nature », comme il l'appelait au départ, voyait le jour à l'heure où la nuit tombait à la lumière d'une lampe à pétrole : « Le soir à la nuit close, quand le genre humain repose, je travaille à mon palais, de mes peines nul ne le saura jamais, les minutes de loisir, que mon service m'a permis, j'ai bâti ce palais des mille et une nuits, où j'ai gravé mon souvenir », a-t-il récité.