Masjid ini telah dibina dalam 1728, Masjid Kampung Hulu di Hilir Melaka ialah masjid ketiga tertua di Semenanjung Malaysia yang masih digunakan dan berada di tapaknya yang asal. Masjid ini dibina oleh oleh penduduk-penduduk tempatan dengan pembiayaan Belanda semasa penjajahan Melaka oleh Syarikat Hindia Timur Belanda (singkatannya V.O.C.). Masjid ini dibina ialah kesan daripada perubahan dasar oleh pemerintah Belanda, yang mengutarakan dasar kepelbagaian pegangan agama. Sebelum kedatangan kaum Belanda pada tahun 1624, penjajah Portugis telah datang sejak tahun 1511, memusnahkan peninggalan rumah-rumah ibadat bukan Kristian di Melaka. Antara yang dimusnahkan oleh Portugis ialah masjid yang pertama dibina di Melaka, yang kononnya terletak bertentangan dengan tapak Stadhuys sekarang.

Pemerintah Belanda telah menugaskan Kapitan untuk mengetuai penduduk tempatan dalam pembinaan tempat ibadat mereka, Dato' Samsuddin Bin Arom, seorang pendatang dari China yang telah memeluk Islam,[2] ditugaskan pemerintah Belanda untuk membina Masjid Kampung Hulu. Binaan asal kemudiannya diperbaiki oleh Sheikh Al Omar bin Hussain Al-Attas.

Penjajah Belanda juga menggalakkan kepelbagaian budaya di kalangan penduduk, dan ciri-ciri seni reka masjid dari tanah Jawa telah dimasukkan ke dalam seni reka Masjid Kampung Hulu. Masjid ini mempunyai bumbung berlapis tiga, dengan bentuk seakan-akan limas (piramid). Ruang di antara lapisan-lapisan bumbung ini membolehkan kemasukan udara dan cahaya ke dalam masjid. Mereka[nyatakan menurut siapa?] percaya bahawa lapisan paling atas bumbung masjid bererti iman manusia kepada tuhan’, lapisan kedua, hubungan manusia dengan manusia’ dan ketiga membawa maksud `alam semula jadi yang menghubungkan manusia dengan Pencipta’.

Struktur bumbung disokong oleh empat batang tiang seri di tengah-tengah masjid, yang kemudiannya membawa kepada tiang-tiang penyokong yang lain. Walaupun seni reka masjid ini dipengaruhi oleh seni reka Jawa, Masjid Kampung Hulu tidak dibuat daripada kayu seperti masjid-masjid di Jawa, sebaliknya dibuat menggunakan bata dan batu. Masjid ini juga mempunyai tembok rendah yang memagari kawasan masjid.

Seperti banyak masjid yang dibina di Melaka pada zaman itu, hiasan dengan pengaruh Cina digunakan untuk menghiasi masjid ini. Bahan-bahan seperti jubin seramik dan jubin lantai dari kerajaan China Dinasti Ching juga digunakan. Motif-motif menghiasi tepian kubah masjid. Menara batu menunjukkan ciri seni reka Melaka pada masa itu, dan dipengaruhi oleh reka bentuk pagoda orang Cina. Ukiran dan seni bina masjid menggunakan faktor alam semula jadi. Pengaruh tumbuh-tumbuhan menjadi kriteria utama seni bina dan ukiran pada bahagian dinding dan bumbung masjid-masjid berkenaan. Pada hujung bumbung terdapat ukiran berkonsepkan sulur bayur, mahkota dan awan larat.