A Köztársaság téren álló műemlék kápolna eredetileg máshol épült fel 1719-ben. A Szent Sebestyén, Szent Rókus és Szent Rozália kápolnát fogadalomból emelték a pestis pusztítása után közvetlenül a plébániatemplom kerítésénel a déli kapu mellett állt a tér felé néző homlokzatokkal. Az elavult kápolna lebontásáról 1839-ben döntöttek. Először a egy korábbi, 1695-ben épült és 1786-an elbontott, Szent Lőrinc kápolna helyére akarták felépíteni a mai Bundás kút környékén, azonban ezt Vágó Ignác kerületi kapitány városrendezési okok miatt megtiltotta. Így a plébánia kertben építették fel az új, klasszicista kápolnát 1839 és 1840 között talán Rabl Károly építőmester tervei alapján. A kápolna előcsarnoka eredetileg vasráccsal volt ellátva, amelyet 1925-ben bontottak el. 1973-ban restaurálták a kápolnát. A téglalap alaprajzú kápolna mindkét oldalán a kőkerítéshez csatlakozik. A négy sima dór oszlopos portikusz két méterrel ugrik a kerítés síkja elé. A timpanonban Szent Rozália fekvő alakja, a timpanon fölötti álló szobrok pedig a hit, remény és szeretet megtestesítői. A kerítés falában romantikus tornyos fülkében másodlagosan elhelyezett barokk szobrok: Nepomuki Szent János (1728) és Bánkódó Krisztus (1732). A szent szobrát eredetileg a sétatér déli részén állították fel. 1830-ban került a plébánikert téglakerítésének déli részére. A Krisztus-szobor a népmissió alkalmából készült.