Яков Александрович Сегель родился в Ростове-на-Дону в 1923 году, в 1928-м его семья переехала в Москву, где мать работала ассистентом режиссёра на «Мосфильме», что рано погрузило его в атмосферу кино. Уже школьником он сыграл Роберта Гранта в «Детях капитана Гранта».

С началом войны участвовал в строительстве оборонительных рубежей, затем, с 18 лет, служил в РККА: учился в гидрометеорологическом институте и артиллерийском училище, воевал в составе 105-й гвардейской стрелковой дивизии, командуя батареей 45-мм орудий, имел боевые награды и вступил в КПСС в 1945 году.

После демобилизации окончил училище при театре имени Моссовета, затем режиссёрский факультет ВГИКа под руководством Сергея Герасимова и с 1954 года работал на киностудии имени Горького. Широкую известность ему принесли фильмы «Дом, в котором я живу» и «Прощайте, голуби», ставшие заметными событиями проката; неоднократно ставил картины по собственным сценариям, включая «Я вас дождусь».

Он активно преподавал, воспитав целую плеяду режиссёров — Стаса Говорухина, Леонида Нечаева, Валерия Рубинчика, Бориса Дурова. Был автором пьес, рассказов и детских книг, известным тонким психологическим письмом. Народный артист РСФСР, один из ярких мастеров советского кино умер в Москве в 1995 году.