این عمارت و کسی که در آن حالا آرمیده حکایت جالبی دارد:

«با مرگ کریم خان زند در سحرگاه سیزدهم صفر ۱۱۹۳ه.ق امرا و بزرگان زندیه در شیراز به نزاع و درگیری برخاستند و سرانجام وقتی زکی خان بر دیگر مدعیان پیروز شد و بر اوضاع تسلط یافت، جسد وکیل را بعد از سه روز که روی زمین مانده بود در یکی از حجرات عمارت کلاه فرنگی در باغ مجاور ارگ کریم‌خانی که بخشی از آن امروزه به نام باغ نظر یا موزه پارس شهرت دارد، به خاک سپردند. درست سیزده سال بعد آغامحمدخان قاجار چون به شیراز دست یافت، از حق دیرین و محبت‌های قدیم وکیل در حق خویش چشم پوشید و در روز ورود به شهر در ۱۸ شوال۱۲۰۶ ه.ق دستور داد مقبره وکیل را تخریب کنند و باقیمانده جسد او را به تهران ببرند و در محل عبور روزانه‌اش دفن کنند. مشهور است که استخوان‌های وکیل تا پایان دوره قاجار در همان محل پله‌های ورودی خلوت کریم‌ خانی باقی بودند. بعضی روایات هم اشاره دارند که تنها سر او به تهران آورده و در آن محل دفن کردند.

با فرو افتادن قاجاریه و اوجگیری احساسات ضد قاجاری این مسأله هم مجدداً بعد از دقیقاً ۱۳۴ سال مورد توجه قرار گرفت. در یکی از جلسات مجلس در آذر ۱۳۰۴ یکی از نمایندگان پیشنهاد جابه‌جایی استخوان‌های وکیل را مطرح کرد: «آقا شیخ محمدعلى طهرانى: ... البته همه آقایان مى‌دانند وقتى که سلطنت منتقل به قاجاریه شد یک نفر از بزرگ‌ترین سلاطین ایران کریم خان زند که خدمات او نسبت به ایران و اخلاق ایران و استقلال ایران در تمام تواریخ ایران بلکه تواریخ خارجه مشحون است نعش این رادمرد وطن پرست اخلاقى را از مقبره او حرکت دادند و استخوان‌هاى او را آوردند به طهران و آغامحمدخان امر کرد در زیر تخت مرمر دفن کنند که هر وقت می‌رود روى تخت پا به استخوان‌هاى او بگذارد.

حتى بنده در تاریخ سر جان ملکم دیدم که این اسائه ادب نسبت به بزرگ‌ترین پادشاهان ایران نادر شاه افشار هم اتفاق افتاده است... بنده تقاضا می‌کنم از روح پاک مجلس که روح پاک ایرانى است که از دولت حاضر بخواهند که این استخوان‌هاى پر از شهامت و شجاعت و وطن‌پرستى و اسلامیت را از این مکان بیرون بیاورند و به یک مکان مقدس که قابل براى احترام باشد دفن کنند...» چند روز بعد در حضور رضا شاه این کار در محل خلوت کریم‌ خانی کاخ گلستان انجام گرفت.

بالای این عمارت کاشیکاری هایی با طراحی و رنگ بندی بسیار زیبایی وجود دارد که خیلی با سلیقه ام جور در می آمد