Nama SMK Majidi Baru diambil sempena seorang pegawai pemerintah tentera British yang bertugas di Johor Bahru, iaitu Sir Majedee. Ditubuhkan pada tahun 1970. Oleh kerana bangunan kelas belum siap, maka pelajar-pelajar terpaksalah menumpang di Sekolah Rendah Kebangsaan Air Molek. Lambang bendera dan cogankata sekolah di reka oleh En. Mohd Salleh b. Mohamed. Lagu sekolah pula dillhamkan oleh En. Ahmad bin Hisham. SMK Majidi Baru dibuka secara rasmi pada tahun 1981 oleh Y.B Dato` Musa Hitam, Menteri Pendidikan Malaysia. Pada tahun 1990, projek pembinaan dua blok bangunan tiga tingkat mula dijalankan. Surau Ar-Rahman yang dibina dengan lebih besar dan selesa di rasmikan oleh YB Tuan Hj Mohd Ali Bin Hassan. Blok Budi dan Blok Bahasa telah dirasmikan oleh YB Dato' Syed Hamid Albar b. Syed Jaafar Albar dengan jayanya pada tahun 1994.


Pembinaan surau baru SMK Majidi Baru telah diilhamkan oleh bekas pengetua SMK Majidi Baru yang ke 8 iaitu Tn Hj Shamsudin Bin Hj Ali pada tahun 1997. Sueau yang mempunyai keluasan 70 kaki x 56 kaki terletak bersebelahan bangunan PGR. Keluasan ini boleh menampung kira-kira 800 pelajar dalam satu masa. Pada awal tahun 2000, kerja baik pulih sekolah telah dijalankan.Pagar-pagar dawai disekolah telah digantikan dengan tembok batu. Bilik khas pengawal keselamatan sekolah telah didirikan berhampiran dengan pintu pagae utama sekolah. Bangunan sekolah juga diberi wajah baru. Longkang disekeliling kawasan sekolah diperbesarkan.Pada tahun 2003, keadaan kantin di blok Ilmu dan Jasa telah diperbaiki. Lantai-lantai dipasang dengan mozek, kerusi yang diperbuat dengan batu dibina, kipas dan lampu dipasang, serta siling yang lama diganti dengan siling yang baru. Tangga untuk laluan telah dibina berhampiran dengan koperasi sekolah untuk memudahkan pelajar untuk pergi ke surau. Dewan sekolah dan makmal komputer telah dibina pada tahun 2004. Dewan sekolah mula digunakan untuk majlis-majlis dan aktiviti sekolah pada bulan April 2005.