Памятник жертвам фашизма в Усвятах установлен на месте, где в годы оккупации находилось еврейское гетто. Мемориал выполнен как стилизация гетто, окруженного колючей проволокой: этот образ сразу дает понять, что речь идет о принудительном заключении и обреченности людей. В центре композиции находится памятная плита с фамилиями расстрелянных евреев. По некоторым данным, в гетто содержались более 500 человек.

Мемориал создан на территории, которую гетто занимало во время войны: целый квартал между улицами М. Горького, Гвардейской и 25 лет Октября. Это не абстрактный знак памяти, а точка на карте Усвят, где когда-то жили, страдали и погибли люди.

После войны память об этой трагедии жила не только в семейных рассказах, но и в судьбах тех, кто продолжал работать в поселке. В 1950–1960-е годы главным врачом Усвятской больницы был Михаил Брук, отец которого был расстрелян. Для таких семей Усвяты оставались местом, где личная утрата навсегда связана с улицами и дворами бывшего гетто.