Иосиф Фролович Гиндин родился 18 мая 1900 года в Санкт-Петербурге. В 1915—1918 годах учился в московской частной мужской гимназии А. Е. Флёрова, затем в 1920—1925 годах — на экономическом факультете Петроградского политехнического института. Его дипломная работа «Банки и промышленность в России до 1917 г.» была опубликована в 1927 году. После окончания института работал в Промбанке, а с 1928 года — в Госбанке СССР. В 1930 году был арестован по делу о «меньшевистской контрреволюционной организации в Госбанке» и в 1931 году осуждён на пять лет лагерей, которые отбывал в Печорлаге; в 1933 году освобождён досрочно без снятия судимости.

В 1934—1937 годах трудился на строительных проектах в Москве, Архангельске, Куйбышеве, Инте и Челябинске. В 1944—1947 годах работал руководителем финансово-планового отдела Гидропроекта. Затем преподавал в Московском финансовом институте (1947—1949), в 1950—1956 годах занимался исследованиями в НИИ Министерства нефтяной промышленности СССР, а с 1956 года работал в Институте истории АН СССР, позднее — в Институте истории СССР. В 1946 году защитил кандидатскую диссертацию, а в 1960 году — докторскую («Государственный банк и экономическая политика царского правительства, 1861—1892»).

Научная деятельность Гиндина была посвящена экономической истории, истории финансов и банковского дела России второй половины XIX — начала XX века, а также экономике нефтяной промышленности. В 1972—1973 годах его труды подверглись идеологической критике, он был уволен из Института истории СССР, а публикация его работ была запрещена до конца жизни. Жил в Москве, в Старопименовском переулке. Скончался 3 января 1980 года, похоронен на Донском кладбище рядом с сыном.