Construite au xiie siècle, l'abbatiale Saint-Saulve occupe l'emplacement d'un monastère plus ancien dédié à saint Walloy, fondé par les moines bretons de Landévennec au xe siècle. Dans ses dispositions initiales, l'édifice présentait un plan caractéristique des églises de pèlerinage avec chœur à déambulatoire et chapelles rayonnantes. Reconstruite après la catastrophe naturelle de 1467, l'église est incendiée lors du siège de 1537 et perd définitivement son chœur, son transept et l'étage de ses fenêtres hautes. Dernier vestige de l'édifice du xiie siècle, le bloc de façade est constitué d'une tour massive coiffée d'un clocher à lanternon au xviiie siècle.