Родился в Одессе в еврейской семье. Окончил естественное отделение физико-математического факультета Новороссийского университета в Одессе, а затем медицинский факультет Московского университета (1896). В 1896–1897 работал врачом в клиниках Берлина и Парижа, потом вернулся в Россию, был лечащим врачом и консультантом в московских больницах, а также занимался частной практикой (был домашним врачом семьи Л. О. Пастернака). В 1907–1919 годах – фабрично-заводской врач. С 1919 года был врачом-ординатором курортно-отборочного госпиталя Наркомздрава РСФСР, затем недолгое время служил в рядах Красной армии. С 1920 года работал в Кремлёвской больнице: врачом-ординатором, заведующим терапевтическим отделением, консультантом Лечебно-санитарного управления Кремля. Позже стал параллельно работать врачом и консультантом в санчасти ОГПУ–НКВД СССР, был лечащим врачом Ф. Э. Дзержинского, В. Р. Менжинского, Г. Г. Ягоды и других высокопоставленных сотрудников подконтрольных им ведомств. 17 февраля 1937 года вместе с наркомом здравоохранения Г. Н. Каминским, начальником Лечсанупра Кремля И. И. Ходоровским и дежурным врачом С. Мецом подписал фальсифицированное медицинское заключение о том, что причиной смерти Г. К. Орджоникидзе стал паралич сердца.

2 декабря 1937 года был арестован. Входил в число обвиняемых на процессе по делу «Антисоветского правотроцкистского блока» в 1938 году, обвинялся в убийстве М. А. Пешкова, Менжинского, В. В. Куйбышева и А. М. Горького по заданию наркома внутренних дел Ягоды. Дав подробные показания о своей «преступной деятельности», полностью признал себя виновным. 13 марта 1938 года был приговорён к смертной казни и спустя два дня расстрелян. Сын Левина, Владимир (род. 1903), профессор Московского института права и помощник заведующего 2-м Западным отделом НКИД СССР, также был арестован и расстрелян в сентябре 1938 года.

4 февраля 1988 года Левин был реабилитирован за отсутствием состава преступления.