Осип Борисович Румер родился в Москве в 1883 году в обеспеченной купеческой семье, связанной с московской резиновой мануфактурой «Богатырь». Получив прекрасное образование, он рано проявил уникальные лингвистические способности: свободно владел двадцатью шестью языками и принципиально не пользовался подстрочниками, стремясь к точной и художественно полноценной передаче оригинала. Его переводы отличали точность смысла, эмоциональная чистота и отсутствие субъективных оттенков, что выделяло его среди переводчиков своего времени.

Румер работал с огромным кругом литератур — от армянской классики и средневековых восточных поэтов до европейской поэзии эпохи Возрождения. Он переводил Фрика, Ерзинкаци, Исаакяна, Туманяна, Навои, Низами, Омара Хайяма, Петефи и Мицкевича, Чосера, Спенсера, Сидни и других авторов. Особое место занимала работа над Шекспиром: он перевёл девять сонетов, включая весь цикл о Смуглой леди, и трагедию «Антоний и Клеопатра». Его вариант сонета 66 считался настолько точным и выразительным, что критик А. Аникст цитировал именно его в комментариях к «Гамлету».

Румер прожил долгую творческую жизнь, сохранив высокую планку филологической культуры и художественного вкуса. Умер в Москве в 1954 году, похоронен на Донском кладбище.

Семейная среда Румера была насыщена наукой и искусством: его братья Юрий и Исидор стали известными учёными и филологами, сестра Елизавета — музыкальным педагогом и библиографом. Его жена Мария Александровна Румер, урожденная Гуревич, была заметной фигурой в системе музыкального образования и двоюродной сестрой Ильи Эренбурга. Его двоюродный брат по материнской линии — Осип Брик, видный филолог и литературный теоретик, что подчёркивает глубину интеллектуальной среды, в которой формировался и работал Румер.