Происходил из дворянского рода Лифляндской губернии. Воспитывался в Шкловском благородном училище, благоустройством которого занимался бывший фаворит Екатерины II С.Г. Зорич. На военную службу Иван Яковлевич поступил 13 декабря 1790 г. В составе Изюмского легкоконного полка участвовал в борьбе против польских повстанцев, в одном из боев получил ранение пикой в грудь и саблей был ранен в руку. С октября 1795 г. состоял адъютантом генерала Л. Л. Беннигсена, с которым отправился в Персидский поход 1796 г. После похода в июне 1797 г. перешел в Павлоградский гусарский полк. Участник знаменитого Швейцарского похода русских войск, но находился в составе корпуса под командованием А.М. Римского-Корсакова. В сражение под Цюрихом получил пулевое ранение в правое плечо. В 1802 г. Шперберг был переведен в состав лейб-гвардии Конный полк. Русские гвардейские полки участвовали в войнах против Наполеона в составе антифранцузских коалиций. Отличился во время сражение при Аустерлице и получил орден св. Владимира 4-й ст. с бантом. С 9 сентября 1807 г. Иван Яковлевич состоял адъютантом при великом князе Константине Павловиче. 12 сентября был награжден золотой шпагой с надписью: «За храбрость». 12 октября 1811 г. Шперберг получил звание полковника. Во время Отечественной войны 1812 г. состоял дежурным офицером при штабе летучего казачьего корпуса М. И. Платова, встречался с неприятелем во многих боях и стычках, в Бородинском сражении тяжело контужен в голову, а при отступлении русских войск с поля боля получил еще и ранение. Участник Заграничного похода русской армии 1813-14 гг., дошел до Парижа, штурмовал Монмартские высоты. 16 мая 1814 г. получил чин генерал-майора и вновь стал состоять при великом князе Константине Павловиче. 13 сентября 1820 г. Шперберг стал начальником 3-й гусарской дивизии, но вскоре его перевели на пост командира 2-й бригады Литовской уланской дивизии. С 9.1.1822 по 6.2.1823 Иван Яковлевич командовал 2-й бригадой 4-й драгунской дивизии. В марте 1823 г. вышел в отставку и до своей смерти проживал в имении Михайловка в Екатеринославской губернии. Новомосковский уезд был одним из мест, где селились немецкие переселенцы. Избирался в нем председателем дворянского собрания, занимался благоустройством края.
