L’histoire de l’école est liée à la famille Pavie qui a fait don de son château à la Paroisse Notre-Dame de La Baule lors de la seconde guerre mondiale. Les élèves passant le bac ne pouvant plus se rendre à Saint-Nazaire, Monsieur Pavie a proposé son château pour que les élèves puissent y passer les épreuves. Il a ensuite fait don de ses bâtiments à la Paroisse qui les a transformés en école.
Le nom « école Pavie » est encore aujourd’hui beaucoup plus utilisé et connu que le nom complet de l’école Saint-Joseph Pavie.
Depuis septembre 2014, une Maison d’Assistantes Maternelles a ouvert ses portes au sein de l’établissement. Elle accueille de nombreuses familles qui souhaitent confier leurs jeunes enfants non scolarisés. Des passerelles ont été mises en place entre les élèves et les jeunes enfants (participation aux spectacles de l’école, lecture par des CM2, utilisation des structures de jeux).
Une autre caractéristique propre à l’école est d’accueillir des familles étrangères dont les parents travaillent aux chantiers de l’Atlantique ou chez Airbus (Norvégiens, Anglais, Américains, Russes, Belges et Chinois). Souvent les élèves ne parlent pas le français en arrivant, ce qui demande un effort linguistique à toute l’équipe éducative.
La communauté éducative œuvre pour et en fonction de l’enfant. Elle est constituée des élèves, de l’équipe éducative, des parents, des Pères de la Paroisse, de l’OGEC et de l’APEL.
Tous ces membres tissent des relations faites de respect, de confiance pour accompagner les élèves.