Парамахамса Махарадж был близким учеником Бхактисиддханты Сарасвати Тхакура. После ухода своего Духовного учителя он принял отреченный уклад жизни от Шрилы Бхакти Ракшака Шридхара Махараджа.

 Шрила Бхакти Сундар Говинда Дев Госвами Махарадж вспоминал:

Мы помним одного очень любимого ученика Сарасвати Тхакура, Махананду Брахмачари, жившего в той же комнате, что и Сарасвати Тхакур. Сарасвати Тхакур относился к нему с большой теплотой и любовью. Махананда Брахмачари сказал Гуру Махараджу (Шридхару Махараджу): "Махарадж, я хочу принять у вас санньяу". Гуру Махарадж дал её с большой радостью. В отречении его имя было Шрила Бхакти Алока Парамахамса Махарадж.