Николай Моисеевич (в некоторых документах отчество записано как Алексеевич) Гершевич родился 2 (по новому стилю — 15) октября 1902 года в городе Томске. По национальности еврей. Жил в городе Харбине.
В декабре 1919 года Гершевич был призван на службу в Рабоче-Крестьянской Красной Армии. Начинал службу писарем 7-го военного госпиталя в Томске. Учился в артиллерийской школе 88-й бригады 30-й стрелковой дивизии, затем служил политруком роты 262-го стрелкового полка. Осенью 1920 года Гершевич участвовал в боях против войск генерала П. Н. Врангеля в районе Перекопа, Джанкоя, Бахчисарая и Феодосии, а впоследствии — против формирований Н. И. Махно. После окончания боевых действий в мае 1921 года он был демобилизован.
В июне 1921 года Гершевич повторно был призван на службу. Служил на штабных должностях в различных частях РККА, ЧОН, войск ОГПУ (НКВД). В 1931 году он окончил Высшую пограничную школу ОГПУ СССР, после чего остался в ней преподавать, был преподавателем тактики, помощником начальника курса, командиром дивизиона. В 1938 году Гершевич окончил Военную академию РККА имени М. В. Фрунзе, после чего служил старшим преподавателем на кафедре автобронетанковых войск этой же академии.
В годы Великой Отечественной войны Гершевич до апреля 1942 года находился на прежней должности, затем был назначен начальником курса академии имени Фрунзе. С октября 1942 года он возглавлял курс на курсах «Выстрел». В августе 1943 года Гершевич был назначен начальником штаба 95-го стрелкового корпуса, дислоцировавшегося в Уральском военном округе, а месяцем позже исполнял обязанности его командира.
В октябре 1943 года корпус Гершевича был направлен на фронт. Под его руководством он принимал участие в освобождении Белорусской ССР, добившись больших успехов. Так, 21-29 декабря 1943 года части корпуса вели ожесточённые бои с 16-й танковой и 253-й пехотной дивизиями вермахта. В тяжёлых условиях Гершевич лично выезжал на передовую, лично руководя действиями подчинённых, что позволило остановить противника.
С июля 1944 года Гершевич занимал должность заместителя командира 11-го стрелкового корпуса по строевой части, с августа того же года исполнял обязанности командира этого корпуса. В результате умело организованного им взаимодействия артиллерии и пехоты соединения корпуса в ходе Львовско-Сандомирской операции прорвали немецко-венгерскую оборону, уничтожив более 10000 и захватив в плен более 3500 солдат и офицеров противника. Кроме того, за время десятидневного наступления были уничтожены: 451 лёгкий и 204 станковых пулемёта, 137 миномётов, 75 артиллерийских орудий, захвачено 53 склада с продовольствием и боеприпасами.
В декабре 1944 года Гершевич был назначен на должность командира 161-й стрелковой дивизии. Под его руководством она успешно действовала во время Западно-Карпатской, Моравска-Островской и Пражской операциях, освобождении чехословацких городов Новы-Сонч, Прешов, Кошице, Барлеев, Жилина и Моравска-Острава.
После окончания войны Гершевич продолжал службу в Советской Армии. С января 1946 года он занимал должность начальника курса Офицерской школы штабной службы, а с января 1947 года возглавлял 2-й факультет Военно-педагогического института. В мае 1950 года в звании полковника Гершевич был уволен в запас. Проживал в Москве. Умер 22 октября 1982 года.
