Иосиф Шефтелевич Шевелёв родился 22 января 1924 года в Витебске в еврейской семье. Учился в Гомеле, где окончил девять классов средней школы. С началом Великой Отечественной войны добровольно вступил в истребительный батальон. С июля 1941 года воевал в составе Гомельского полка народного ополчения, в августе был ранен. В последующие годы участвовал в боях под Гомелем, Смоленском, в Подмосковье, Прибалтике, Польше и Германии.

Служил рядовым, затем офицером, был командиром взвода автоматчиков и помощником начальника штаба моторизированного батальона автоматчиков 220-й гвардейской отдельной танковой бригады. За проявленное мужество награждён орденом Красной Звезды, позднее орденом Отечественной войны первой степени. Демобилизован в 1946 году в звании гвардии старшего лейтенанта.

После войны окончил архитектурный факультет Киевского инженерно-строительного института. С конца 1940-х годов работал в Костроме, где стал одним из ведущих специалистов по реставрации памятников архитектуры. Участвовал в создании Костромского музея-заповедника народного деревянного зодчества, руководил реставрацией многочисленных исторических объектов и экспедициями по выявлению памятников народной архитектуры в регионе. Позднее трудился в институте Костромагражданпроект.

За вклад в развитие архитектуры и сохранение культурного наследия был удостоен звания заслуженного архитектора Российской Федерации, стал почётным гражданином Костромы и почётным членом Российской академии архитектуры и строительных наук. Также являлся академиком Нью-Йоркской академии наук.

Скончался 14 мая 2023 года в Костроме на сотом году жизни. Похоронен на общественном кладбище на Костромской улице.