Родился в семье педагога Эммануила Моисеевича Хайкина, основателя Минского еврейского реального училища, и Флоры Абрамовны, преподавательницы французского языка. Обучался в музыкальном училище в Пензе, затем окончил Московскую консерваторию по классу дирижирования.

С 1928 года начал карьеру в Оперном театре имени К. С. Станиславского, позднее возглавлял Малый оперный театр в Ленинграде, а в 1943–1953 годах был главным дирижёром Театра оперы и балета имени С. М. Кирова. С середины 1950-х работал в Большом театре, с которым связаны его крупнейшие успехи. В его репертуаре были «Евгений Онегин», «Пиковая дама», «Кармен», «Хованщина», «Севильский цирюльник» и многие другие. Выступал с гастролями в Европе, дирижировал симфоническими концертами.

Хайкин был профессором Московской консерватории, где воспитал целую плеяду дирижёров, среди них Кирилл Кондрашин и Марк Эрмлер. Автор более 250 статей о музыкальном искусстве.

Семья: брат — физик Семён Хайкин; первая жена — пианистка Софья Наумовна; вторая жена — Алла Георгиевна. Сын — театральный режиссёр Виктор Борисович Рябов.