Les archives les plus anciennes connues faisant référence au Castellet datent du XIIe siècle. Mais l'on sait grâce à Claude-François Achard qu'auparavant le village était appelé Castellum(1).
Avec l'abbé Féraud on en apprend un peu plus puisqu'il parle d'un « vaste et beau château ». Mais on n'a de cet édifice aucune description et aucune localisation. En effet si l'on peut situer l'emplacement du premier village grâce au nom de Ville Vieille (encore usité de nos jours pour désigner un secteur de la commune) et grâce à de nombreux vestiges de construction, on n'a en revanche trouvé à ce jour aucune trace d'un château. Le village se situa dans un premier temps sur les hauteurs pour des raisons évidentes de sécurité à une période où il fallait pouvoir se défendre des agressions extérieures. Or les meilleurs terrains agricoles étaient en fond de vallée. Aussi dès que la stabilité et une certaine paix intérieure furent rétablies, les habitants descendirent coloniser le fond de la vallée et peu à peu le village se déplaça entièrement. L'ancien village se vida insensiblement et fut laissé à l'abandon avant de tomber entièrement en ruines. On manque d'archives dépouillées pour dater avec précision cette migration, mais on peut estimer que celle-ci commença vers la fin du XIVe ou au début du XVe siècle en fonction de la datation des habitations les plus anciennes qu'on trouve aujourd'hui dans les quartiers des Bernards et des Bachelas.
Au cours de son histoire Le Castellet changea plusieurs fois de mains. En effet au XIIe siècle, après le démantèlement de l'empire carolingien et le morcellement du territoire, la féodalité s'installa. Au XIIIe siècle Le Castellet dépendait des Isnard, seigneurs d'Entrevennes. Il conservera d'ailleurs le nom de Castellet-lès-Entrevennes jusque vers 1750, même après être passé, en 1543, sous la dépendance des seigneurs d'Oraison qui, du reste, obtinrent en même temps les villages d'Entrevennes et – en partie du moins – de Puimichel. En 1720 ce territoire, devenu marquisat, changea de mains et passa dans celles des Fulque, nouveaux seigneurs d'Oraison.
Sur le plan religieux mais aussi pour la vie quotidienne le rôle des abbayes en milieu rural fut essentiel. Au XIIIe siècle l'abbaye de Saint-André de Villeneuve, tenue par des bénédictins, implanta un prieuré au Castellet. Cette implantation stratégique sur la route reliant Sisteron à Riez favorisait les échanges culturels et commerciaux. Mais le choix de l'implantation tenait compte également de la situation géographique : c'est l'endroit le plus large en fond de vallée à la jonction du torrent de Rancure et de celui de Puimichel. Les dépôts d'alluvions y sont les plus nombreux et la terre y est aussi la moins ingrate. Cela favorisa ainsi tout à la fois le développement de l'agriculture, du pastoralisme, de l'industrie du bois et donc l'essor économique de la région.
Parallèlement Le Castellet dépendit pendant un peu plus de 800 ans (de 990 à 1801) du diocèse de Riez.
Note
1 - Castellum, nom latin dérivé de castrum (fort, place forte) désignant un château fort. Mais castrum désigne également une ville, tout comme castellum désigne aussi un hameau de montagne (cf Félix GAFFIOT - Dictionnaire illustré latin-français).
