Ursprünglich wurde 1575 der Friedhof auf Anweisung der Nürnberger Oberherrschaft außerhalb der Stadtmauern angelegt. Später beerdigte man die Toten in Gräbern auf dem Platz rund um die Kirche, bis schließlich der Gräfenberger Friedhof in seiner heutigen Lage entstand.
1929 wurde die Leichenhalle am östlichen Rand des Friedhofs errichtet.
Als westlichen Zugang aus der Stadt durchbrach man die Stadtmauer (Standort). Einen zweiten Stadtmauerdurchbruch schuf man im Jahr 2019 etwa 50 Meter südlich, um direkt vom Parkplatz in den Friedhof gelangen zu können.
