Išplanuota XVIII a., vadinta Rossgarten Strasse. Tuo metu buvo trumpesnė: nuo dab. H. Manto g. iki J. Karoso g. Šia gatve miestiečiai susisiekdavo su ganyklomis ir daržinėmis, kurios stovėjo šiand. Skulptūrų parko aplinkoje. (Vok. Ross – žirgo, Garten – daržas, sodas, o t.p. aptvaras). Lietuviai vadino Žardžių gatve. Šis pavadinimas egzistavo iki tarybinio meto, kai ją pervadino į Vytauto g. XX a. pirmoje pusėje prie šios gatvės veikė gintaro fabrikas.