لا يوجد تاريخ محدد يوضح بناء القصر ولكن من المرجح انهأنه بني في السنوات الأولى من الحكم السعودي للاحساءللأحساء مابين عامي [[1298 هـ]] - [[1235 هـ|1331هـ]]، ولكن كانت بعض المراجع تذكر انهأنه بني سنة [[1220 هـ]] حيث استخدم كقاعدة لسعود بن عبدالعزيز الكبير لاخماد حركاتتحركات بني خالد عام 1235 هجرية الذي سمي غار الرقيقة وذلك نسبة إلى عددها الكبير. في رمضان سنة [[1291 هـ]] قدم الامام [[عبد الرحمن بن فيصل بن تركي آل سعود]] من [[بغداد]] إلى [[الأحساء]] ومعه فهد بن صنيتان وانضم اليه طائفة من [[العجمان]] وال مرة وطلب من اهل الأحساء مناصرته على اخراج جنود الأتراك من الأحساء فاجابوه إلى ذلك وبدأ وجيشه ببسط سيطرته على المنطقة فهاجموا قصر خزام بالهفوف وسيطرواعليه وعلى من في الكوت مقر العساكر الأتراك الذين تحصنوا في حصونهم داخل اسوارها واستمر الحصار إلى ذي القعدة وفي هذه الأثناء كتب والي الأحساء متصرف بغداد يخبره بما حدث طالبا منه النجدة.<ref name="صحيفة اليوم" />
