Même avec sa petite taille et sa situation qui paraît, aujourd'hui, rétrospectivement éloignée des centres urbains les plus importants du passé, le village du Castellet eut une certaine prospérité qui se laisse facilement déchiffrer par le promeneur attentif. Les maisons du XVIIe siècle, celles qui se sont construites au centre du village, montrent une certaine opulence de leurs propriétaires.
Les clés de voûte de nombreuses habitations du centre du village montrent une recherche esthétique prouvant un embourgeoisement des habitants les plus riches. Les notables se sont installés autour de l'église.
En effet pour un grand nombre elles possèdent des encadrements de portes en pierres taillées, voire avec clé de voûte sculptée, à la différence des maisons plus anciennes, de facture plus rustique, bâties par des paysans lorsqu'ils sont venus s'installer en fond de vallée. Cette coquetterie, soulignée également par certaines portes en bois nobles comme le noyer, avec des moulures ou des décors sculptés, sont bien la preuve de cette prospérité. Malheureusement aujourd'hui trop de ces portes ont disparu lors de réfections successives de l'habitat.
Datée de 1622, la porte principale de l'église est de pur style roman avec sa voûte en plein cintre. Sa porte latérale a été récupérée sur l'église plus ancienne (arc très légèrement brisé). La porte a été refaite dans le style de la porte principale.
Il reste encore pas mal de portes anciennes dans le village du Castellet, même si, au cours des siècles, beaucoup sont passées à la trappe en raison de réhabilitations des habitats peu soucieuses du patrimoine.
Le même constat est valable pour les fenêtres de quelques maisons qui montrent encore une splendeur passée… en un manque d'entretien qui risque fort de leur être fatal. Mais on se plaît à imaginer combien ces élégantes menuiseries à petits carreaux de verre ont dû faire la fierté de ceux qui les avaient fait réaliser. Le souci du confort alla même parfois jusqu'à équiper ces ouvertures de volets intérieurs.
Certaines fenêtres, quoique vétustes sur des maisons aujourd'hui laissées quasiment à l'abandon, ne devaient pas manquer de classe et de splendeur à l'époque où Le Castellet frôlait les 400 habitants.
De façon tout à fait différente d'autres détails doivent attirer l'attention du visiteur. Des rainures creusées dans les jambages de portes ou dans certains murs du village témoignent du souci de protection contre les inondations. Car dans le passé les caprices du torrent de Rancure et surtout du vallon de la Fouent ont causé de nombreux dommages au village. Pour se protéger de ces éléments les habitants avaient adopté une parade (presque) infaillible : des planches étaient glissées dans ces rainures devant chaque porte pour éviter que l'eau n'envahisse les intérieurs.
Aujourd'hui encore certains habitants mettent en place des planches de protection, les jours de pluie, pour éviter les infiltrations.
D'autres étaient mises en place à chaque ouverture de communication du barri (le gros mur qui protégeait toute la partie du vallon de la Fouent qui pénétrait dans l'agglomération) afin d'éviter l'inondation des axes secondaires du village.
On voit bien sur une photo des années 50 la pierre du bas de ce mur, au niveau de la place… du Barri ! Cette pierre fut ôtée pour faciliter la circulation des véhicules, mais elle a été heureusement conservée comme témoin de ce passé et accolée à l'ancien four à pain du Castellet.
