ALJAM`IYATUL WASHLIYAH merupakan organisasi Islam yang lahir pada 30 November 1930 dan bertepatan 9 Rajab 1349 H di Kota Medan, Sumatera Utara. Al jam’iyatul Washliyah yang lebih dikenal dengan sebutan Al Washliyah lahir ketika bangsa Indonesia masih dalam penjajahan Hindia Belanda (Nederlandsh Indie), sehingga pendiri Al Washliyah ketika itu turut pula berperang melawan penjajah Belanda. Tidak sedikit tokoh Al Washliyah yang ditangkap Belanda dan dijebloskan ke penjara.Tujuan utama untuk mendirikan organisasi Al Washliyah ketika itu adalah untuk mempersatukan umat yang berpecah belah dan berbeda pandangan.

Perpecahan dan perbedaan tersebut merupakan salah satu strategi Belanda untuk terus berkuasa di bumi Indonesia. Oleh karena itu, Organisasi Al Washliyah turut pula meraih kemerdekaan Indonesia dengan menggalang persatuan umat di Indonesia.

Penjajah Belanda yang menguasai bumi Indonesia terus berupaya agar bangsa Indonesia tidak bersatu, sehingga mereka terus mengadu domba rakyat. Segala cara dilakukan penjajah agar rakyat Indonesia terpecah belah. Karena bila rakyat Indonesia bersatu maka dikhawatirkan bisa melawan pejajah Belanda.Upaya memecah belah rakyat terus merasuk hingga ke sendi-sendi agama Islam. Umat Islam kala itu dapat dipecah belah lantaran perbedaan pandangan dalam hal ibadah dan cabang dari agama (furu’iyah).

Kondisi ini terus meruncing, hingga umat Islam terbagi menjadi dua kelompok yang disebut dengan kaum tua dan kaum muda. Perbedaan paham di bidang agama ini semakin hari kian tajam dan sampai pada tingkat meresahkan.

Dengan terjadinya perselisihan di kalangan umat Islam di Sumatera Utara khususnya di Kota Medan, pelajar yang menimba ilmu di Maktab Islamiyah Tapanuli Medan, berupaya untuk mempersatukan kembali umat yang terpecah belah itu. Upaya untuk mempersatukan umat Islam terus dilakukan dan akhirnya terbentuklah organisasi Al Jam’iyatul Washliyah yang artinya PERKUMPULAN YANG MENGHUBUNGKAN. Maksudnya adalah menghubungkan manusia dengan Allah SWT (hablun minallah) dan menghubungkan manusia dengan manusia (sesama umat Islam) atau hablun minannas