Das Schloss Sumpu (�x�{��, Sumpujō) wurde 1586 von Tokugawa Ieyasu erbaut und diente später als sein Altersruhesitz. Die Stadt Shizuoka, die damals Sumpu hieß, entwickelte sich um das Schloss herum, das noch immer im Zentrum der Stadt liegt, nur zehn Minuten Fußweg vom JR-Bahnhof Shizuoka entfernt. Von den ursprünglichen Schlossgebäuden ist nichts mehr erhalten, und das Gelände besteht heute größtenteils aus Parkanlagen.

Im Laufe seiner Geschichte wurde das Schloss Sumpu mehrmals zerstört und wieder aufgebaut. Mit der Meiji-Restauration in den späten 1860er Jahren wurde die Tokugawa-Familie entmachtet und die neuen Herrscher des Landes ließen das Schloss abreißen. 1949 wurden die innersten Höfe der ehemaligen Schlossanlage in einen öffentlichen Park umgewandelt, Sumpu-Park die nach wie vor von einem Wassergraben umgeben ist.

In den letzten Jahrzehnten hat man sich bemüht, Teile des ehemaligen Schlosses zu restaurieren. Die Osttor und ein angrenzender Wachturm wurden nach originalen Bauplänen rekonstruiert. Die Rekonstruktion ist begehbar und enthält informative Exponate zur Burg.

Im Jahr 2001 wurde die attraktive Momijiyama Japanischer Garten wurde in der nordöstlichen Ecke des Parks eröffnet. Im Stil eines traditionellen Landschaftsgartens verfügt er über einen zentralen Teich, einen künstlichen Hügel und ein Netz von Wanderwegen. Der Hügel stellt den Berg Fuji dar und ist von Azaleen umgeben, die Teeblätter, das berühmteste Produkt von Shizuoka, repräsentieren, während ein kiesiger Teil des Teichufers den nahe gelegenen Miho Beach darstellt. Lokaler Tee wird im GartenlokalTeehaus.