Построенные в стиле классицизма здания усадьбы всегда вызывали восхищение екатеринбуржцев и гостей. Писатель Д.Н. Мамин-Сибиряк в конце XIX века называл этот архитектурный комплекс «чем-то вроде акрополя или кремля». Помимо основного здания, в состав дворцово-паркового ансамбля входят здание конюшни, хозяйственный двор, заборы, ворота и ограды с кованой решеткой, парк с озером.

Строительство усадьбы фактически началось в 1794-1795 годах, когда губернский секретарь Семен Алексеевич Исаков начал здесь строить дом. Однако вскоре он ушел из жизни. В 1798 году вдова Исакова продала участок купцу Л.И. Расторгуеву за 2 тысячи рублей. Спустя год Расторгуев заложил фундамент главного каменного двухэтажного дома с обширным подвалом. Полностью строительство усадьбы было закончено лишь к 1824 году. Столь долгое строительство исследователи обычно объясняют строительством обширных подвалов и сети подземных ходов…

До сих пор все попытки историков выяснить имя архитектора, построившего столь великолепное сооружение, были тщетны. Ни в одном из документов нет даже намеков на то, кто именно построил самую роскошную усадьбу Екатеринбурга. В народе прижилась легенда, что им был зодчий, находившийся в заточении в Тобольской тюрьме. За порядочную взятку купец и заводчик Лев Иванович Расторгуев заполучил себе архитектора. Пообещал, что если тот выстроит небывалый дворец, то получит свободу. Однако после окончания строительства свое обещание хитрый купец не сдержал. По преданию, обманутый архитектор то ли сошел с ума, то ли покончил с собой…

Известно, что на последней стадии строительства свой вклад в формирование облика усадьбы внес выдающийся екатеринбургский архитектор М.П. Малахов. В главном здании под куполом разместилась домовая старообрядческая церковь. Поскольку старообрядчество в те годы преследовалось властями, от этого помещения вели подземные ходы. Благодаря им старообрядцы всегда могли и уйти из молельни незамеченными. Позже Л.И. Расторгуев породнился через с П. Харитоновым и Г. Зотовым.

После смерти Льва Расторгуева усадьба перешла к его зятю П.Я. Харитонову. В роскошном доме стали постоянно устраиваться пышные балы и развлечения для екатеринбургской знати, а в саду – гулянья. Хозяева, казалось, не стесняли себя ни в чем: год отмечали свадьбу, мыли шампанским лошадей… В дворце-особняке не раз останавливались коронованные особы. В 1824 году в доме останавливался император Александр I , совершавший поездку по стране. А в 1837 году в этом особняке останавливался будущий правитель России Александр II.

По рассказам современников, в подвалах шла совсем другая жизнь. Там мучили и губили непокорных крепостных, мятежников с заводов. Зотов и Харитонов были настолько беспощадны на своих Кыштымских заводах, что за многочисленные убийства и жестокость были до конца своих дней сосланы в ссылку в Финляндию.

В 1840-х годах помещения особняка сдавались в аренду. К началу 1870-х годов усадьба без хозяина стала ветшать и приходить в упадок. В 1905 году усадьбу купило общество Кыштымских заводов. В революционные годы в доме был госпиталь для раненых красногвардейцев, позже в нем размещались различные коммунистические организации. Лишь в конце 1930-х годов помещения усадьбы Расторгуева-Харитонова отдали Дворцу пионеров, который располагается в этих стенах и поныне (переименованный в Дворец детского и юношеского творчества).

Здесь занималось немало выдающихся личностей. Например, Александр Демьяненко, известный по роли Шурика в «Операции Ы», «Кавказской пленнице» и других. Усадьбе Расторгуева-Харитонова посвящен один из первых рассказов писателя Алексея Толстого «Харитоновское золото». А в Харитоновском парке в детстве любил ловить птичек живший неподалеку свердловский писатель Николай Никонов.

Ни об одной другой достопримечательности Екатеринбурга не сложено столько мрачных легенд и преданий. Ходят легенды о проклятии обманутого архитектора, о замученных в подвалах бедолагах, но большинство преданий – о подземных ходах. Их существование подтвердили ученые. С помощью геофизических приборов в 1980-х годах исследователи выявили несколько направлений подземных ходов.

Отдельно стоит рассказать о парке, расположенном за строениями усадьбы. Сад был разбит позже самой усадьбы. Деревья для сада подбирали в окрестных лесах, выкапывали уже взрослыми и привозили в создающийся парк. Сейчас этим деревьям – липам и лиственницам – около двух веков. Это одни из самых старых деревьев Екатеринбурга. В парке было вырыто искусственное озеро, в котором раньше плавали лебеди. Сейчас парковое озеро облюбовали сотни уток, совсем не боящихся многочисленных посетителей.

Сад был украшен тремя тенистыми аллеями, отходящими от озера и беседками. Харитоновский сад всегда был открыт для посетителей, став первым общественным садом города. Среди екатеринбуржцев XIX – начала XX веков он был очень популярным. Здесь устраивались концерты, проводились праздники, гулянья. На территории парка раньше стояла красивая деревянная ротонда. Она была не на острове, как современная ротонда, а в самом парке. К сожалению, до наших дней она не дошла. Как установили исследователи, подземные ходы соединяли подземелья усадьбы с ротондой. В 1924 году в парке произошел провал, открывший загадочный тоннель. К дореволюционной истории в советское время относились пренебрежительно, поэтому тоннель тут же засыпали.

Согласно планам усадьбы XIX века, никаких сооружений на островах искусственного озера не было. В 1935-1937 годах на территории усадьбы проводилась масштабная реконструкция под руководством архитектора В.В. Емельянова. На островке озера при этом построили круглую беседку без крыши с фонтаном, к которой с берега перекинули висячий мост. В советское время парк называли парком Пионеров. В 1987 году ему вернули историческое название – Харитоновский парк.

Харитоновский сад уникален еще и тем, что это единственный сохранившийся в уральской столице образец ландшафтного искусства первой половины XIX века. Несколько лет назад на территории Харитоновского парка были открыты детский экологический центр и сенсорный сад. В экологическом центре дети учатся уходу за животными и растениями, проводят наблюдения за окружающей средой. Уникальный сенсорный сад создан для детей с ограниченными возможностями.

В настоящее время усадьба Расторгуева-Харитонова имеет статус памятника архитектуры федерального значения.