Masjid Cheng Ho berada di selatan dari pusat Kota Palembang, yaitu di Perumahan Amin Mulia, Jakabaring. Masjid ini dibangun atas prakarsa Persatuan Islam Tionghoa Indonesia (PITI) Palembang untuk menghormati salah satu tokoh terkenal Tiongkok bernama Laksamana Cheng Ho. Dengan arsitektur Tiongkok dan cat berwana merah terang, masjid ini menjadi salah satu icon kebanggaan Kota Palembang.

Di awal keberadaannya, Masjid Cheng Ho Palembang dibangun dengan latar belakang untuk menjaga hubungan baik antara masyarakat keturunan Tionghoa dengan masyarakat Palembang pada umumnya, selain juga sebagai tempat untuk memperdalam ajaran agama Islam dan memperkenalkannya kepada masyarakat luas.

Masjid Cheng Ho memiliki ukuran beekisar 20x20 meter dan di bangun diatas tanah seluas 4.990 m2 yang merupakan tanah hibah dari Gubernur Provinsi Sumatera Selatan yaitu Syahrial Oesman. Masjid Cheng Ho dilengkapi dengan dua menara yang masing-masing diberi nama Habluminallah dan Hambluminannas dan tempat wudhu berukuran 4x4 meter.

Kedua menara Masjid Cheng Ho Palembang memiliki 5 tingkat yang melambangkan jumlah 5 shalat yang dilakukan dalam sehari. Tinggi menara mencapai 17 meter, angka tersebut merupakan simbol dari jumlah rakaat yang perlu dikerjakan oleh setiap muslim dalam sehari. Sementara di bagian luar menara dibubuhi ornamen khas Palembang berupa tanduk kambing. Penggunaan ornamen khas tersebut bukan tanpa sebab, selain karena Masjid Cheng Ho ini dibangun di tanah Palembang, masyarakat juga menyadari adanya kedekatan antara kebudayaan Palembang dengan kebudayaan Tionghoa.

Masuk lebih ke dalam, pengunjung akan mendapati warna dominan merah, warna yang identik dengan kebudayaan Tiongoa. Arsitektur Tionghoa juga terlihat dari daun pintu yang terdapat pada pintu utama masjid. Pancang-pancang dan ornamen pagar pembatas di bagian atas makin mempercantik tampilan interior masjid yang kental akan nuansa Tionghoa. Secara keseluruhan bangunan masjid ini mampu menampung sekitar 500 jamaah