تعود أهمّية قصر الجم إلى عهد حاكم مقاطعة أفريكا “ غورديان الأول ” و تحديدا عندما صار امبراطورا رومانيا و حكم لمدة 36 يوما قبل أن ينتحر في منزله بقرطاج إثر هجوم جيش نوميديا لاسترجاع الحكم ، أمّا خلال الفتح الإسلامي في القرن الثامن ميلادي فقد احتمت به كاهنة البربر اثر هزيمتها في معركتها الثانية ضد حسّان ابن النعمان و خلال حكم البايات بتونس و في عام 1695 م ثار السكان على محمد باي و تحصنوا بقصر الجم فأمر الباي حينها بهدم جزئه الغربي.
يحتوي القصر الأثري على مسرح مبني من الصخور الكبيرة مُسطّحة الحجم و يصل ارتفاعه إلى ستة و ثلاثين مترا و طوله مائة و تسعة و أربعين مترا .. أهمّ عنصر فيه هو المسرح الكبير الذي يتّع لحواليْ ثلاثين ألف متفرّج و يحتوي على حلبة محورها خمسة و ستّون مترا و يحتوي على غرف و أنفاق و سراديب مربوطة بممرّات سفلية.