
В 1982-1984 годах проходил службу в Вооруженных Силах СССР в частях спецназа внутренних войск МВД СССР, дислоцированных в городе Чапаевске Куйбышевской области. В 1990 окончил юридический факультет Омского государственного университета по специальности «правоведение» и работал как преподаватель юридического факультета Омского государственного университета.
В 1990-1993 годах — аспирант юридического факультета Ленинградского университета. Научным руководителем у него был Анатолий Собчак, к которому он попал по рекомендации декана юридического факультета Омского государственного университета Сергея Бабурина. С 1997 года — вице-губернатор Санкт-Петербурга, председатель Комитета по управлению городским имуществом администрации (КУГИ) Санкт-Петербурга, член совета директоров ОАО «Ленэнерго». В период работы в администрации Санкт-Петербурга Герман Греф познакомился с Алексеем Кудриным, Дмитрием Козаком, Дмитрием Медведевым. С октября 2007 года — председатель правления Сбербанка России.
Старший брат, Евгений Греф — бизнесмен в Омске, совладелец сетей магазинов «Технософия», «Сибирь-керамика», торговых центров «Геомарт» и «Летур». Герман Греф является билингвом, с ранних лет одинаково владея русским и немецким языками. В феврале 2011 года защитил диссертацию в Российской академии народного хозяйства и государственной службы при Президенте РФ по теме: «Развитие и перспективы структурных институциональных реформ в российской экономике».