Самая известная легенда гласит, что принадлежали эти палаты царю Ивану IV Васильевичу и были его охотничьим дворцом. Но подтверждения этому факту — нет. Одно из старейших гражданских зданий города находится по адресу: Большой Харитоньевский переулок, дом 21, строение 4. Являются объектом культурного наследия федерального значения. Палаты внесены в Красную книгу Архнадзора, номинация — запустение.
Точная дата возведения палат и имена архитекторов не известны.
В 17-м веке Петр I пожаловал здание своему приспешнику Шафирову. После, дворец перешел в руки действительного тайного советника графа Толстого, который по указу Петра II был отправлен в ссылку, собственность изъяли. Дворец получил Алексей Волков, помощник Меншикова. Через год, последний лишился своей должности, а усадьба перешла в другие руки – в руки семьи Юсуповых. Первым владельцем стал Григорий Юсупов-Княжев, который проводил здесь светские рауты. В те годы помещение в левом флигеле брал в аренду Сергей Пушкин и жил здесь со своей семьей.
В 1770-х годах владение Юсуповых было расширено за счет покупки соседней усадьбы Измайловых. Уже при первых владельцах из рода Юсуповых было положено начало легендарным богатствам, которые хранились в старинных палатах.
На рубеже 18 и 19 веков к владению присоединился одноэтажный дом купца Чирьева, и у Юсуповых в Харитоньевском переулке стало три дома.
После 1917 года Феликс все имущество Юсуповых, в том числе и дворец в Харитоньевском переулке, было национализировано, а владельцы покинули страну. В 1925 году во дворце обнаружили тайник с фамильными сокровищами Юсуповых. С 1929 года в здании находился президиум Академии сельскохозяйственных наук.Памятник архитектуры не реставрировался, и уже к 1990-м годам предстал в крайне ветхом состоянии. В год празднования двухсотлетия со дня рождения А.С. Пушкина была проведена реставрация фасада. Лишь в 2000-х годах начались масштабные ремонтно-реставрационные работы. В 2004 году Академия как собственник сдала памятник в аренду ООО "Межрегион НИИ проект", а в 2005 году продала его тому же владельцу. Новый хозяин и инвестор-подрядчик начали в интерьерах "реставрационные" работы, повлекшие утраты и остановленные органами охраны памятников по сигналу общественности. В 2007 году Арбитражный суд признал сделку купли-продажи недействительной. Памятник вернулся в собственность Сельскохозяйственной академии, которая в 2015 году объединена с Российской Академией Наук (РАН). (Ссылка на источник). С тех самых пор дворец вновь пустует и приходит в упадок.
Благодарим за внимание!