Pada tahun 1973 di Kabupaten Rembang terdapat dua sekolah menengah atas negeri, yaitu SMA Negeri Rembang dan SPG Negeri Rembang. Tepatnya pada tanggal 18 Desember 1973 berdiri sekolah menengah atas negeri yang ketiga yaitu SMPP Negeri Rembang dengan SK Menteri Pendidikan dan Kebudayaan Republik Indonesia Nomor 0236/0/1973 tanggal 18 Desember 1973.
Staf pengajar dan administrasi pada SMPP sebagian diambilkan dari SMA Negeri Rembang, dengan tenaga pengajar sebanyak 15 guru dan tenaga administrasi sebanyak 3 orang, sedangkan jumlah peserta didik kelas I sebanyak 4 rombel dan kelas II sebanyak 4 rombel. Prestasi SMPP Negeri Rembang semakin berkembang dan menjadinsekolah favorit dengan jumlah peserta didik sebanyak 24 rombel.
Pada tahun 1985 regulasi tentang SMPP di Indonesia berubah menjadi SMA, berdasarkan SK Menteri Pendidikan dan Kebudayaan No. 0353/0/1985 tanggal 9 Agustus 1985 yang diikuti perubahan nama SMPP Negeri Rembang berubah menjadi SMA Negeri 2 Rembang. Kemudian pada bulan April 1997 nama SMA Negeri 2 Rembang berubah menjadi SMU Negeri 2 Rembang dengan jumlah kelas 24 rombel dan jumlah peserta didik sebanyak 920.
Perkembangan terakhir berdasarkan surat edaran dari Kepala Dinas Pendidikan Kabupaten Rembang No. 061/088/2004 tanggal 19 Januari 2004 perubahan nama sekolah dari SMU Negeri 2 Rembang menjadi SMA Negeri 2 Rembang. Mulai tahun pelajaran 2004/2005 dari 24 rombel bertambah menjadi 27 rombel.
Dalam perkembangannya pada tahun 2009 telah dibuka Kelas Imersi, dengan jumlah siswa sebanyak 24 siswa, dalam kegiatan belajar mengajarnya menggunakan pengantar bahasa inggris. Kelas Imersi dibuka untuk pertama 4 kalinya bertujuan untuk menuju tahapan RSBI. Regulasi berubah kembali sampai akhirnya RSBI ditiadakan dan kembali menjadi SKM (Sekolah Kategori Mandiri) pada tahun 2013. Sampai akhirnya kembali ke reguler memiliki 33 rombel yang terdiri dari program IPA, IPS dan BAHASA. Pada tahun 2018 SMA Negeri 2 Rembang sebagai Sekolah Zonasi dan tahun 2014 sebagai Sekolah Adiwiyata Nasional sampai sekarang.