Der Obere Stadtfriedhof steht unter Denkmalschutz und weist mehrere historistische und klassizistische Grabdenkmäler auf. Auf dem Gelände befindet sich eine sowjetische Kriegsgräberanlage aus dem Zweiten Weltkrieg. Das hohe Friedhofskreuz besteht aus Gusseisen.
Die neuromanische Friedhofskapelle ist ein Werk des Architekten Carl Roesner. Unterhalb des schlichten, auf quadratischem Grundriss stehenden Baus befindet sich eine Chorherren-Gruft. Die Kapelle hat große Rundbogenfenster und ein Portal mit dem Wappen des Stifts Klosterneuburg. Der Innenraum weist ein Kreuzrippengewölbe und ein großes Wandbild von Leopold Kupelwieser auf, das die Auferstehung der Toten zeigt.
Das barocke Friedhofsportal zur Friedhofgasse hin wurde vom Bildhauer Lorenzo Mattielli geschaffen, der auch die Pietà im Kreuzgang des Stifts Klosterneuburg gestaltete. Teil des Portals ist eine Gruppe von Plastiken: ebenfalls eine Pietà, die von Engeln angebetet wird, sowie Arme Seelen im Fegefeuer. Am Tor angebracht sind weiters Symbole der Vergänglichkeit wie Totenschädel und Knochen.