لما عاد الشيخ سعيد من مصر جلب معه مكتبته فكان صاحب الفضل في تكوين مكتبة الباروني ويرجع تاريخ تأسيسها إلى سنة 1220 ه وعندما استقر بمدرسة الجامع الكبير حافظ على هذا التراث ونمّاه بشرائه مجموعة من الكتب من مكتبة الشيخ موسى بن علي الباروني النفوسي ثم واصلابنه العلامة الشيخ علي الباروني وحفيده الشيخ يوسف بن علي الباروني ثم واصل رعايتها الشيخ أمحمد بن الشيخ يوسف الباروني ثم ابنه يوسف بن أمحمد الباروني وفي عهد الحفيد زادت العناية حيث بنى لها مكانا خاصا وأخرجها من محل سكناه حتى يتمكن الباحثون من الإطلاع على أهم المخطوطات من كتب الإباضية وغيرها من المذاهب الإسلامية نظمت المكتبة وفتحت أبوابها لجميع الباحثين من أوروبا وإفريقيا الشمالية وآسيا وأمريكياوكانت جل الكتب التي بها مخطوطة وقد أثراها الشيخ يوسف بن أمحمدالباروني بكتب جديدة وقديمة في شتى الفنون الإسلامية والتاريخية والعلمية والأدبية وعلم النفس وبدأ الإقبال عليها من رجال الفكر والعلم من بداية 1960 م.زارها الدكتور عمرو خليفة النامي من لالوت بجبل نفوسة في جمادى الثانية 1388 ه الموافق لشهر أوت 1968 م لجمع مواد الأطروحة وكان موضوعها تطور الفكر الإباضي ودراسة نظام الولاية والبراءة عند الإباضية وعند زيارته الأولى( 1986 ) سجل هذه القصيدة تحية مودة لأسرة الباروني بجربة في4 جمادى الثانية 1388 ه/ 31 أوت 1968 م يقول:يا خيرة السلف الأطهار معذرة إن قصر القول عن شكر المبرات حفظتم العهد فاعتز الجميع بكم وقد رفعتم منارا للكراما تغرس نماه أبو هارون باركه فضل من الله في ماض وفي كتبنت جدودكم مجدا فما ضعفت منكم عزائم عن درك المهمات فبارك الله ما شادت عزائمكم وزانكم بالمعالي والمسرات كما زار المكتبة وفد من ميزاب سنة 1960 م منهم الأستاذ إبراهيمطلاي والأستاذ عبدالله آنتابلو والأستاذ حمو هذا من الجزائر والأستاذ محمد عيسى الباروني من معهد طرابلس للمعلمين ومعه مجموعة من الأساتذة وزارها الدكتور شكري فيصل وحرمه من سوريا سنة 1971 وزارها الأستاذ مراد عبدالله كوستاري من هولندا لقصد جمع معلومات عن أسرة الباروني والأستاذ مسعود يامون صحبة الشيخ سالم بن يعقوب مؤرخ جزيرة جربه وفقيهها وزارها وفد من سلطنة عمان صحبة الشيخ أحمد الخليلي مفتي سلطنة عمان سنة 1392 ه- 1972 م والشيخ سالم بن محمد الرواحي و الشيخ سعيد بن علي الشكلي وغيرهم كثير وزارها الشيخ بيوض إبراهيم صحبة رفاقه العشرة من ميزاب وأقام مدة أسبوع في المكتبة البارونية ضيفا على أبناء الجزيرة وألقى عدة محاضرات بعدة مساجد جربة في مناسبتين،الأولى في 11 رجب 1392 ه/ 21 اوت 1972 م والثانية صحبة وفد من المشائخ بمناسبة زفاف ابني سعيد بن يوسف الباروني في 21 شعبان 1399 ه/ 15جويلية 1979 م 

نشاط المكتبة

تستقبل الوفود من جميع الجهات، نظمت معرضا للكتب المخطوطةسنة 1982 م ضمن جمعية صيانة الجزيرة كما شاركت بمعرض الوثائق الجربيةمن 24 أفريل إلى 8 ماي 1987 كما عرّفت بالحركة الثقافية بالجزيرة عبرالتاريخ ومازالت تواصل رسالتها برعاية الشيخ يوسف بن أمحمد الباروني حافظ المكتبة.