Яков Исаакович Серебрянский родился 11 декабря 1892 года в Минске в бедной еврейской семье. Его отец, Ицко Серебрянский, работал подмастерьем у часовщика, позже приказчиком и торговцем, а мать, Геня Серебрянская, занималась семьёй. В семье было трое детей — Яков, его брат Израиль и сестра Мира. Детство будущего разведчика прошло в небогатых кварталах Минска. Учился в Первом городском училище, которое окончил в 1908 году. Ещё подростком вступил в кружок эсеров-максималистов, участвовал в подпольной деятельности и в 1909 году был арестован за хранение «переписки преступного содержания». Провёл год в тюрьме и был сослан в Витебск, где устроился электромонтёром на электростанцию. С ранних лет проявлял склонность к технике и самостоятельности, что впоследствии пригодилось ему в разведывательной работе.

В 1912 году его призвали в армию. Служил в 122-м Тамбовском пехотном полку, а с началом Первой мировой войны был направлен на Западный фронт в составе 105-го Оренбургского полка. Летом 1914 года под Матишкеменом был тяжело ранен и после госпиталя демобилизован. Некоторое время работал электромонтёром на бакинских нефтепромыслах, где познакомился с революционными кругами. После Февральской революции активно участвовал в деятельности Бакинского совета и местной организации партии эсеров. В 1918 году руководил отрядом по охране продовольственных грузов Бакинского совета. После падения Бакинской коммуны покинул город и через некоторое время оказался в Персии, где присоединился к отрядам Мирзы Кучек-хана и участвовал в создании Гилянской Советской Республики. Там он познакомился с Яковом Блюмкиным, который помог ему стать сотрудником Особого отдела Персидской Красной Армии. Именно этот период стал поворотным в его судьбе и определил дальнейшую карьеру в советских спецслужбах.

Вернувшись в Москву в 1920 году, Серебрянский стал сотрудником центрального аппарата ВЧК. Некоторое время он занимался техническими вопросами и контрразведкой, позже работал в системе треста «Москвотоп». В 1923 году Яков Блюмкин, назначенный резидентом нелегальной разведки в Палестине, предложил Серебрянскому стать его заместителем. Так началась его долгая служба в зарубежной разведке. В составе ИНО ОГПУ он выехал в Яффу, где занимался сбором информации о британских и французских интересах на Ближнем Востоке, а также о революционных движениях. После отзыва Блюмкина продолжил работу самостоятельно, внедрился в подпольные сионистские организации и создал агентурную сеть, ставшую впоследствии известной как «группа Яши».

С 1925 по 1926 годы Серебрянский был нелегальным резидентом ИНО ОГПУ в Бельгии, затем работал во Франции. В 1929 году он вернулся в Москву и возглавил 1-е отделение ИНО ОГПУ, одновременно руководя созданной им Особой группой, подчинявшейся напрямую председателю ОГПУ Вячеславу Менжинскому. Группа занималась внедрением агентуры в стратегические объекты за рубежом, организацией диверсий и ликвидацией противников советской власти. Под его руководством была проведена знаменитая операция по похищению в Париже главы Русского общевоинского союза генерала Александра Кутепова. За эту операцию Серебрянский был награждён орденом Красного Знамени. Позже его группа действовала в Румынии, США, Китае, Японии и Испании. Во время гражданской войны в Испании он руководил закупкой и поставкой оружия для республиканцев, за что был награждён орденом Ленина.

В 1938 году, после ареста наркома Ежова и начала чисток в НКВД, Серебрянский был отозван из Франции и арестован прямо у трапа самолёта. На допросах его жестоко избивали, требуя признаний. В 1941 году он был приговорён к расстрелу, но приговор не был приведён в исполнение: началась Великая Отечественная война, и разведке требовались опытные кадры. По ходатайству Павла Судоплатова и при поддержке Берии Серебрянский был амнистирован и возвращён на службу.

Во время войны он возглавлял разведывательные и диверсионные группы НКВД и НКГБ, действовавшие в Европе. Руководил вербовкой агентов, разработкой операций в Германии, Франции и Венгрии, участвовал в координации разведывательной работы советских партизан. После войны служил в резерве 4-го управления НКГБ. В 1946 году уволен в запас по состоянию здоровья, однако оставался под негласным наблюдением. В 1953 году по приглашению Судоплатова вновь был привлечён к работе в центральном аппарате МВД, но вскоре после ареста Берии был сам арестован.

8 октября 1953 года его взяли в третий раз. В декабре 1954 года амнистия 1941 года была отменена, и Серебрянского вновь признали виновным по старому делу. 30 марта 1956 года он умер во время допроса в Бутырской тюрьме. Урна с его прахом захоронена в колумбарии Донского кладбища в Москве. Был женат на разведчице Полине Натановне Беленькой, вместе с которой работал за границей. Их сын Анатолий стал инженером и кандидатом технических наук, автором трудов по автоматическому управлению в химической промышленности. Племянником Якова Серебрянского был известный белорусский юрист и профессор Аркадий Тевелевич Лейзеров.