Menjelang lahirnya PMII pada 1960, kehidupan politik Indonesia berada dalam situasi yang semakin dinamis. Setelah Pemilihan Umum 1955, Nahdlatul Ulama (NU) tampil sebagai salah satu partai politik besar dan memperoleh 45 kursi DPR. Pada periode tersebut, NU tidak hanya menjalankan aktivitas keagamaan dan sosial, tetapi juga terlibat langsung dalam kehidupan politik nasional.
Keterlibatan NU dalam politik turut memunculkan kebutuhan terhadap kader yang memiliki kemampuan intelektual dan pendidikan tinggi. Dalam sejumlah catatan sejarah PMII, kebutuhan tersebut menjadi salah satu pertimbangan penting bagi NU untuk memiliki wadah mahasiswa yang mampu menghimpun dan mengembangkan mahasiswa Nahdliyin. Pada masa itu, sebagian kebutuhan kader intelektual NU masih dipenuhi melalui individu-individu yang kemudian didekatkan dengan lingkungan NU.
Di lingkungan mahasiswa sendiri telah berkembang berbagai organisasi dengan latar belakang keagamaan dan politik yang berbeda. Salah satunya adalah Himpunan Mahasiswa Islam (HMI), yang telah berdiri sejak 1947 dan berkembang menjadi salah satu organisasi mahasiswa Islam penting pada masa tersebut. Dalam sejumlah catatan sejarah PMII, sebagian mahasiswa Nahdliyin yang sebelumnya berada di lingkungan HMI kemudian melihat perlunya wadah tersendiri bagi mahasiswa yang memiliki latar belakang NU dan tradisi Ahlussunnah wal Jamaah.
Hubungan HMI dengan Masyumi juga menjadi bagian dari konteks yang dicatat dalam sejumlah sumber sejarah PMII. NU sendiri sebelumnya merupakan bagian dari Masyumi, tetapi kemudian keluar dan menjadi partai politik sendiri pada 1952. Perkembangan tersebut turut memengaruhi orientasi politik organisasi-organisasi mahasiswa yang berada dalam lingkungan politik Islam pada masa itu.
Selain persoalan hubungan antarorganisasi, situasi politik nasional juga mengalami perubahan besar setelah Dekrit Presiden 5 Juli 1959 yang mengakhiri periode Demokrasi Parlementer dan membawa Indonesia memasuki masa Demokrasi Terpimpin. Kehidupan politik semakin kuat memengaruhi berbagai organisasi sosial dan kemahasiswaan. Catatan sejarah PMII menggambarkan periode tersebut sebagai masa ketika politik memiliki pengaruh besar terhadap kehidupan organisasi mahasiswa.
Dalam kondisi tersebut, mahasiswa Nahdliyin menghadapi persoalan ganda. Di satu sisi, mereka membutuhkan ruang yang sesuai dengan latar belakang keislaman dan tradisi intelektualnya. Di sisi lain, wadah yang tersedia melalui Departemen Perguruan Tinggi IPNU memiliki keterbatasan. Departemen tersebut tidak memiliki kedudukan yang sama dengan organisasi mahasiswa yang dapat bergabung dalam Persatuan Perhimpunan Mahasiswa Indonesia (PPMI). Perbedaan kebutuhan antara pelajar dan mahasiswa juga menjadi salah satu alasan munculnya gagasan untuk membentuk organisasi mahasiswa yang berdiri secara lebih khusus.
Dengan demikian, menjelang 1960 terdapat beberapa kondisi yang berjalan secara bersamaan: NU sedang memainkan peran penting sebagai partai politik, kebutuhan terhadap kader intelektual semakin besar, organisasi mahasiswa telah berkembang dengan latar belakang yang beragam, dan wadah mahasiswa Nahdliyin yang ada belum mampu sepenuhnya memenuhi kebutuhan tersebut. Dalam konteks inilah gagasan untuk membentuk organisasi mahasiswa NU yang berdiri sendiri semakin menguat dan kemudian berlanjut pada proses kelahiran PMII pada April 1960.
Pergerakan Mahasiswa Islam Indonesia (PMII) lahir dari kebutuhan mahasiswa Nahdliyin akan sebuah wadah yang mampu menjadi ruang perjuangan, pengembangan intelektual, dan pengorganisasian mahasiswa Islam. Secara historis, gagasan tersebut tidak terlepas dari keberadaan IPNU-IPPNU. Dalam perkembangannya, Departemen Perguruan Tinggi IPNU menjadi salah satu embrio lahirnya organisasi mahasiswa yang berdiri secara khusus untuk mewadahi mahasiswa Nahdliyin.