Kostelík, který dal Světcům jejich jméno, byl postaven již ve středověku. Stál nad balvanem, k němuž se vztahovala pradávná pověst. Podle ní se nad kamenem objevovalo 14 světýlek, ve kterých zbožní lidé spatřovali 14 svatých pomocníků v nouzi a chodili se k balvanu modlit.
Na počátku 17. století kostel zmiňován jako neudržovaný a po čase ustoupil novostavbě paulánského klášterního kostela. V roce 1785 došlo v rámci Josefínských reforem ke zrušení paulánských klášterů. Světce poté získávají poslední z feudálních majitelů – knížecí rod Windischgrätzů.
Nejzajímavější stavební památkou Světců je dnes bývalá knížecí jízdárna. Ta byla vystavěna v letech 1858 – 1861 nejvýznamnějším představitelem šlechtického rodu Windischgrätzů - polním maršálem, knížetem Alfrédem I.
I po téměř 150 letech se jedná o největší českou jízdárnu, a hned po Španělské dvorní jízdárně ve Vídni se jedná o druhou největší jízdárnu ve střední Evropě. Po roce 1945 přešla jízdárna do majetku československého státu a v následujících více než 40ti letech neudržovaný objekt chátral. V roce 1981 byl dokonce doporučeno, aby se objekt nechal strhnout. Tomu se naštěstí povedlo zabránit.
