L’origine de son nom viendrait du latin « castellare », dérivé des mots « castellus » et « castellum », signifiant « château » ; il est combiné avec Notre-Dame, faisant référence à la vierge Marie. Ses habitants se nomment les « castellariens » et les « castellariennes ». Le village se démarque par sa mystique église Notre-Dame, de style roman et dédiée à la vierge. Ses ouvertures datent du XVIe siècle et son chevet à la particularité d’être plat. Elle détient une statue remarquable représentant Saint-Jacques le Majeur, datant du XVe siècle et classée à titre d’objet à l’inventaire des Monuments Historiques. Le prêtre Frédéric Courtois, né en 1860 dans la commune, fut nommé en 1902 conservateur du musée scientifique de Sikowé à Shangaï. Féru d’ornithologie, il fera la découverte d’espèces jusqu’alors inconnues dont deux garulax nommés depuis garulax de Courtois, aujourd’hui menacés d’extinction.