學校成立于1951年，其前身是1946年中國共產黨在東北解放區建立的松江省立行知師范學校，經歷了哈爾濱師范專科學校（1951-1956）、哈爾濱師范學院（1956-1980）時期，1980年更名為哈爾濱師范大學。2000年呼蘭師范專科學校、黑龍江農墾師范專科學校并入，2002年黑龍江省物資學校（黑龍江省物資職工大學）并入，組建成新的哈爾濱師范大學。