تاريخ ساخت و بنيان‌گذار اوليه باغ ارم شيراز، به‌درستي مشخص نيست؛ ولي توصيف‌هايي از آن در سفرنامه‌هاي متعلق به قرن دهم و يازدهم هجري آمده‌است.اين باغ در روزگار سلجوقيان و آل اينجو پا برجا بوده است. در زمان زنديه هم كريمخان زند در سازندگي و بهسازي اين باغ كوشيد. در زمان قاجاريه اين باغ به مدت ۷۵ سال به دست سران ايل قشقايي افتاد. در اين زمان عمارتي در اين باغ ساخته شد. اما در زمان سلطنت ناصرالدين شاه قاجار عمارتي ديگر توسط حسين علي خان نصير الملك پي ريزي شد كه با مرگ وي خواهر زاده او ابولقاسم خان نصير الملك امور باغ ارم را به دست گرفت و عمارت نيمه كاره را تكميل كرد. اين عمارت تا كنون پابرجاست. اين باغ تنوع گياهي بسيار بالايي دارد و گياهان بسياري از اقصا نقاط جهان در اين باغ كاشته شده است؛ به شكلي كه باغ در قالب يك نمايشگاه از انواع گل‌ها و گياهان درآمده‌است. در حال حاضر اين باغ در اختيار دانشگاه شيراز است؛ باغ گياه‌شناسي آن در اختيار دانشكده كشاورزي و ساختمان باغ در اختيار دانشكده حقوق قرار دارد. در تاريخ ۶ تيرماه ۱۳۹۰ در سي‌وپنجمين اجلاس كميتهٔ ميراث جهاني يونسكو باغ ارم شيراز به همراه هشت باغ ديگر ايراني در فهرست ميراث جهاني ثبت گرديد.
عمارت وسط، هسته مركزي اين باغ محسوب مي‌شود.شيوه معماري عمارت اين باغ به سبك زمان قاجاريه و به تقليد از سبك معماري زنديه است. اين عمارت از نظر معماري، نقاشي، كاشي كاري و گچ بري از شاهكار هاي معماري زمان قاجار است. اين عمارت، از سه طبقه، با تزئينات فراوان تشكيل شده‌است. اتاق‌هاي طبقه زيرين كه تقريباً زيرزمين هستند، محلي است براي استراحت در روزهاي گرم تابستان. تزئينات اين اتاق‌ها، كاشي‌كاري‌هاي رنگين است. دو طبقه بالايي داراي ستون‌هايي است كه از تخت جمشيد الهام گرفته شده‌اند.
در پيشاني بنا، دو نيم‌دايره در دو طرف، و يك تابلو بزرگ در وسط قرار گرفته كه از ۳ هلال روي هم تشكيل شده‌است. اين تابلو، تصاويري از شاهنامه فردوسي و نبرد شاهان قاجار را نشان مي‌دهد. اين بنا بيش از هفتاد سال به خوانين قشقايي تعلق داشته كه در دوران پهلوي مصادره شده‌است.