Анатолий (Натан) Ильич Гинзбург родился 16 февраля (1 марта) 1917 года в Петрограде в семье геохимика Ильи Исааковича Гинзбурга. В 1932 году впервые пришёл в Институт прикладной минералогии, где начал работать коллектором минералов. В 1940 году окончил с отличием Московский геолого-разведочный институт по специальности «Геология и разведка месторождений полезных ископаемых».

После окончания института был призван в армию и встретил Великую Отечественную войну на передовой в пулемётной роте; дважды был тяжело ранен и демобилизован по инвалидности. В мае 1942 года начал научную работу в ИГН АН СССР, исследуя редкометальные пегматиты Казахстана. С 1944 года продолжил исследования в Минералогическом музее им. А. Е. Ферсмана под руководством Ферсмана. В 1945 году защитил кандидатскую диссертацию и открыл промышленное месторождение поллуцита — рудного минерала цезия, что принесло ему Сталинскую премию 1948 года.

В 1955 году защитил докторскую диссертацию по литиевым пегматитам, удостоен премии Президиума АН СССР. В 1956 году по приглашению Министерства геологии СССР создал и возглавил Отдел геологии и минералогии редких металлов во ВИМС. С 1976 года руководил Научным советом по минералогическим методам исследований Мингео СССР.

Проводил исследования на Кольском полуострове, в Забайкалье и других регионах страны, внёс значительный вклад в генетическую и прикладную минералогию и заложил основы минералогии новых видов минерального сырья для редких металлов. Скончался 15 сентября 1984 года в Москве, похоронен на Донском кладбище.