Парамахамса Махарадж был близким учеником Бхактисиддханты Сарасвати Тхакура. После ухода своего духовного учителя он принял отреченный уклад жизни от Шрилы Бхакти Ракшака Шридхара Махараджа.
Шрила Бхакти Сундар Говинда Дев-Госвами Махарадж вспоминал:
Мы помним одного очень любимого ученика Сарасвати Тхакура, Махананду Брахмачари, жившего в той же комнате, что и Сарасвати Тхакур. Сарасвати Тхакур относился к нему с большой теплотой и любовью. Махананда Брахмачари сказал Гуру Махараджу (Шридхару Махараджу): "Махарадж, я хочу принять у вас санньясу". Гуру Махарадж дал ее с большой радостью. В отречении его имя было Шрила Бхакти Алока Парамахамса Махарадж.