Иван Дмитриевич Ганчев родился 9 декабря 1929 года в селе Веселовка (ныне – Приморский район Запорожской области Украины). По национальности болгарин.
После окончания школы фабрично-заводского ученичества в 1948 году Ганчев работал плотником в трестах «Запорожстрой» и «Криворожстрой». С 1962 года работал бригадиром каменщиком-монтажников строительного управления № 2 треста «Марганецрудстрой». За время своей трудовой деятельности Ганчев освоил специальности каменщика, монтажника и штукатура. Проживал и работал в городе Орджоникидзе (ныне – Покров Днепропетровской области Украины). Бригада Ганчева первой в городе стала применять поточный метод возведения зданий. Работая в три смены, она смогла добиться значительно экономии – 1,5 месяца на один дом. За успехи, достигнутые при выполнении заданий семилетки 1959-1965 годов, Ганчев был представлен к званию Героя Социалистического Труда.
С 1966 года Ганчев проживал в городе Никополе Днепропетровской области., работал бригадиром строительного управления «Гражданстрой» треста «Никопольстрой». Его бригада добилась рекордных не только в республике, но и во всём СССР темпов строительства. Она успешно соревновалась с прославленной бригадой Н. А. Злобина из города Зеленограда Московской области. В 1960-1980-е годы она возводила до 60% всего построенного в городе жилья, долгие годы выполняя по два годовых задания на строительство жилых зданий, что составляло до 60 тысяч квадратных метров. В 1976 года Ганчев совместно с рядом других советских строителей за совершенствование планирования работы бригад и внедрение блочно-комплектного метода строительства был удостоен Государственной премии СССР за выдающиеся достижения в труде. Только за пятилетку 1976-1980 годов бригада Ганчева построила 82 пятиэтажных жилых домов на 6727 квартир, а за досрочное выполнение заданий пятилетки 1981-1985 годов бригадир был во второй раз представлен к званию Героя Социалистического Труда.
На протяжении своей трудовой карьеры Ганчев избирался депутатом Никопольского городского и Днепропетровского областного Советов, делегатом ряда съездов КПСС, КП Украины, ВЦСПС.
В 1985 года Ганчев перешёл на работу технологом строительнно-монтажных работ на комбинате железобетонных изделий треста «Никопольстрой». После распада СССР руководил ООО «Забудовник – Ромашка». Умер 1 августа 2009 года, похоронен на городском кладбище Никополя.
