إتخذ الأمير منصور عسّاف التركماتي سنة 1572م بيروت  مقراً له، بنى السراي أو دار الولاية بجانب الجامع الذي شيّده وعُرف بجامع السراي أو جامع الأمير عسّاف أو جامع دار الولاية. وإتخذ الأمير فخر الدين سنة 1632م بيروت حاضرة لولايته، وفي السنة التالية أي سنة 1633م رفعت ضده عدة شكاوى إلى السلطان مراد، فجرد عليه حملة إنتهت في  12/11/1634م بإستسلامه إلى أمير الأسطول وسوقه إلى الآستانة حيث أعدم. فلم يتيسر لفخر الدين ما كان ينوي إتمامه من العمران في بيروت، شاهد الرحالة الذين مروا في بيروت عقب سقوط فخر الدين، كثيراً من الأبنية غير  المكتملة التي كان الأمير قد بدأها. وكان آخر ما بقي منها بناء إتخذه الأمير مقراً للخيالة، أصبح فيما بعد مركزاً لبورصة بيروت، من طبقتين جعلت السفلى منه إسطبلاً.

إتخذ أحمد باشا الجزار من سراي بيروت مقراً له عندما عيّن متسلماً على المدينة وتحصن فيها سنة 1773م إلى أن أخرجه الأسطول الروسي منها. وفي الثاني من شهر نيسان سنة 1832م دخل إبراهيم باشا المصري إلى بيروت من باب الدركه في موكب حاشد وإتجه نحو سراي الحكومة. وعيّن بعد ذلك محمود نامي بك محافظاً على بيروت فجعل مقره في السراي وكذلك مقر مجلس الشورى وكان للسراي باب خاص للحريم.

في العاشر من شهر أيلول سنة 1840م بدأ الأسطول الإنكليزي بقصف المدينة بالقنابل، فتهدم السور والكثير من الأبنية، وأصيب السراي بعدة قذائف فتهدمت بعض أجزائها. 

في سنة 1259هـ 1843م نصّب في السراي المجلس المؤقت لأجل تحقيق المسلوب والمنهوب التي سلب لأربابه في جبل لبنان أثر حوادث سنة 1840م، وكان المجلس برئاسة الوالي محمد أسعد مخلص باشا وعضوية المفتي الأغر الذي قال فيه:

مجلسنا على الكراسي بدت    أقماره من شمسه تختفي

أخصامه فيه جرى بينهـم  حسابهم فكان كالموقـف

وشهد مبنى السراي منذ عام 1860م إجتماعات فؤاد باشا مع ممثلي الدول والتي إنتهت بإقرار نظام متصرفيّة جبل لبنان. كما حل فيها الوالي الشهير مدحت باشا وإتخذ منها مقراً لإدارة الأمور وتسيير الأعمال.

ولما كانت الدول مثل الإنسان، تكبر وتشيخ، كما قال إبن خلدون، فقد قرر مجلس إدارة لواء بيروت سنة 1882م، بموافقة الوالي، إنشاء دار جديدة للحكومة وبيع السراي بالمزاد العلني على شروط منها: (أن يُدفع الثمن إلى صندوق مال بيروت على سبيل الأمانة من سعر الريال المجيدي بسعر 19 قرش، وأن على المشتري أن يؤدي الثمن على ثلاثة أقساط نقداً، وأن تسليم الدار القديمة للمشتري يكون بعد سنة من تاريخ الإحالة إذا إقتضى البناء الجديد وألا تبقى الحكومة في الدار القديمة بالأجرة لحين إتمام البناء أو أنها تنتقل إلى محل آخر). وكُلّف المنادي خليل بدران (الدلال باشي) أن يسير في الأسواق ويبلّغ التجّار والأفنديّة بشروط المزايدة. وفي شهر نيسان سنة 1882م تمّ مزاد السراي على التاجر الدمشقي محمد أياس بمبلغ 52050 ريالاً مجيديًّا.

ولما كان القانون يجيز زيادة الثمن الذي تقرر على المزايد الأخير، تجددت رغبة الطالبين من بعض تجّار بيروت، فصدر الأمر بقبول الضّم وعُيّن موعد جديد للمزايد وكان الثمن قد بلغ 59875 ريالاً مجيديًّا. وبيعت أخيراً للسادة سرسق وجرجس تويني بمبلغ 70050 ريالاً مجيديًّا.

يُذكر أنه بعد أيام من شراء سرسق وتويني لمبنى السراي، صدر قرار نفي المصريين الذين إشتركوا في أحداث أحمد عرابي باشا إلى بيروت، فقام سرسق وتويني بفتح السراي لإسكان المنفيين المذكورين لحين تدبر أمورهم. ثم هدموها بعد ذلك وأنشأوا مكانها عدة بنايات ودكاكين عُرفت بسوق سرسق.