Родился 10 ноября 1884 г. в г. Тамбове в семье купца второй гильдии. В 1900 г. окончил тамбовскую мужскую гимназию, затем поступил в 1902 г. в Казанскую духовную академию, которую окончил в 1906 г. со степенью кандидата богословия. Во время учебы в 1904 г. принимает монашеский постриг с именем Герман, на следующий год рукоположен во иеромонаха.. После окончания духовной академии преподаватель, а затем инспектор Псковской духовной семинарии, в 1912 г. переведен на должность инспектора Вифанской Духовной семинарии (в Сергиевом Посаде), а в 1912 г. назначен ее ректором и возведен в сан архимандрита.
В 1919 г. хиротонисан во епископа Волоколамского викария Московской епархии. Через три года в 1921 г. арестован, но в том же году отпущен на свободу, без права выезда из Москвы. До 1922 г. проживал в Даниловском монастыре.