Ketika para alumni Annida Al Islamy yang stagnan memiliki ide untuk membuat pengajian dua kali dalam sebulan. Pada tahun 1981 itu mulailah pengajian itu diadakan dan K.H. Muhajirin sebagai pemateri yang dilaksanakan di Masjid Al Khoirot Rawa Buaya. Setelah beberapa bulan berjalan, maka timbul ide untuk membangun pendidikan di Rawa Buaya.

Kemudian setelah selesai pengajian, para alumni bermusyawarah untuk mendirikan lembaga pendidikan formal, pada waktu itu hadirlah K.H. Ma’mun, H. Ahmad Suaidy, K.H. Abdul Mubin, Ustadz Hadromi, Ustadz Miftah, Ustadz Jamahsari, Ustadz Abdurrozzaq, H. Dul, Ustadz Sofyan Mas’ud, H. Matsani, H. Ikhsan dan masih banyak alumni Annida yang hadir pada waktu itu.

Namun saat itu hanya empat orang yang diberikan kesempatan untuk mengikuti musyawarah memberikan nama terhadap lembaga yang akan didirikannya yaitu, Ustadz Hadromi, Ust. Miftah, K.H. Ma’mun, dan H. Dul. Kemudian Ustadz Hadromi mengusulkan agar nama lembaga tersebut adalah Annida Al Islamy hal ini dikarenakan lembaga ini didirikan oleh mayoritas alumni Annida dan nama yayasannya adalah Shiraathu Al-Rahim sesuai dengan nama pewakaf tanah Annida. Kemudian empat orang ini keluar bertemu jamaah pengajian dan mengumumkan nama lembaga dan yayasan, lalu hasil musyawarah alumni ini dilaporkan oleh Ustadz H. Abdurrozzaq kepada K.H. Muhajirin Amsar Addari di Bekasi.

Perguruan Annida Al Islamy berawal dari tingkat Tsnawiyah. Pada bulan Juli 1982 didirikanlah Madrasah Tsanawiyah, yang berlokasi di MI Shiraturrahman yang sekarang hingga tahun 1983 akhir. Kepala Madrasahnya adalah K.H. Abdul Mubin diantara tenaga pendidiknya adalah: Ust. Jamahsari, Ust. Miftah Mugeni, Ust. Niswan, Ust. Ja’ani, Ust. Zainal Abidin.

Pada akhir tahun 1984 Annida Al Islamy Jakarta Barat dipindahkan ke Duri Kosambi dan berada di atas tanah wakaf H. Abdurrohim. Tidak lama kemudian K.H. Abdul Mubin mengundurkan diri sebagai kepala sekolah lalu dijabat oleh K.H. Ma’mun selama setengah tahun. Pada tahun 1984 kepala sekolah dijabat oleh Ust. Jamhari sampai 1986.

Adapun nama Annida Al Islamy Jakarta Barat itu sendiri diambil dari nama Annida Bekasi, dimana Ust. H. Sopyan, Ust. Hadromi dan Ust. H. Abdul Mubin memohon kepada K.H. Muhajirin Amsar Addari agar MTs yang ada di Rawabuaya diberi nama Annida Al Islamy dan merupakan cabang dari Annida Bekasi.