ويبدو أن هذا السور لم يحظ بالعناية الكافية في أواخر عهد المدينة بالمماليك، فلقد كان حكّام بيروت في هذه الفترة لا يعلقون عليه أهمية جديّة في الدفاع عنها، فكانوا يكتفون ببعض الإصلاحات فيه ما بين الحين والآخر، بيد أن هذه الإصلاحات كانت محدودة وقليلة الأهمية، لذلك كان السيّاح الذين يجتازون بيروت أيامها يصفونها كمدينة غير محصنة.
من هؤلاء السيّاح L.Divartimat مرّ ببيروت سنة 1503 م في طريقه إلى الحجاز، كتب في مذكراته: (... وقد أقمت في القاهرة زمناً وارتحلت منه إلى الشام بحراً، فنزلت ببيروت، وهي مدينة وافرة الخيرات، سكانها مسلمون، وحولها سور تلتطم عليه الأمواج، لكنه لا يكتنف المدينة من كل جهاتها بل من الغرب وعلى شاطئ البحر فقط، ولا أرى في المدينة ما يستحق الذكر إلا بناءً متهدماً، قيل إن ابنة الملك كانت مقيمة فيه لما أراد التنين أن يفترسها، فجاء مار جرجس وقتله، ولعلَّه جامع الخضر الحالي.
