Зиновий Гердт родился 21 сентября 1916 в городе Себеж Псковской области; первоначальная фамилия, под которой он первое время играл - Храпинович. В 15 лет, окончив фабрично-заводское училище Московского электрозавода имени Куйбышева, Зиновий пришёл работать на Метрострой слесарем-электриком. Он идёт в театр рабочей молодежи (ТРАМ) при заводском клубе. С 1937 года - актёр Театра кукол при Московском Доме пионеров.

Когда началась Великая Отечественная война, Зиновий Гердт ушёл добровольцем на фронт. Был старшим лейтенантом сапёрной роты. В феврале 1943 года под Белгородом он был тяжело ранен в ногу. В 1945-1982 Гердт в труппе Центрального Театра кукол под руководством С. В. Образцова. В кинематограф Зиновий Гердт вошёл как актёр дубляжа, долгое время оставаясь за кадром. С 1983 года - актёр театра им. М. Н. Ермоловой.

В Киеве в центре города стоит памятник Паниковскому (персонаж романа «Золотой телёнок»), прообразом памятника послужил Зиновий Гердт, исполнивший роль Паниковского в экранизации романа.