Berdiri megah di atas sebuah bukit di kawasan Poros, Mesjid Agung Karimun adalah salah satu landmark Kota Tanjung Balai. Masjid ini di bangun pada tahun 2003. Peletakan batu pertamanya, dilakukan oleh Bupati Karimun yang saat itu masih dijabat oleh Drs. HM Sani. Peletakan batu pertamanya juga dihadiri oleh menteri Agama RI Prof.DR.Said Agil Siraj dan disaksikan oleh 6 duta besar sahabat dari Palestina, Lebanon, Sudan, Maroko, Yaman dan Iran.
Berdiri di atas lahan seluas 75.000 meter persegi dengan luas bangunan mencapai 2500 meter persegi, masjid ini mampu menampung 4000 jemaah sekaligus. Masjid Agung Karimun memiliki prestasi cukup gemilang ditingkat provinsi Kepualauan Riau. Di tahun 2015 Masjid Agung Karimun mendapat penghargaan sebagai masjid berprestasi se-Provinsi Kepulauan Riau.

Masjid ini juga mendapat pernghargaan sebagai Masjid percontohan tingkat provinsi Kepulauan Riau berdasarkan Surat Keputusan Kepala Kantor Wilayah Kementerian Agama Provinsi Kepulauan Riau nomor 348 tahun 2015 tentang Penetapan Pemenang Masjid Agung Percontohan Tingkat Provinsi Kepulauan Riau Tahun 2015 menetapkan Masjid Agung Karimun sebagai pemenang pertama. Dengan demikian Masjid Agung Karimun yang beralamat di ini mewakili Provinsi Kepri dalam pemilihan masjid percontohan di tingkat nasional.