1720 yılında Sultan III. Ahmet döneminde Kaptan-ı Derya’lık yapmış olan, Nevşehirli Damat İbrahim Paşa’nın damadı Nişancı Mustafa Paşa tarafından 1720 yılında inşa ettirilmiştir. Boğaz’ın en güzel yalı camilerinden biri olan Kuleli Kaymak Mustafa Paşa Camii, Kulebahçe Mescidi, Kuleli Ocağı Mescidi ve Kuleli Camii olarak da bilinir.

Caminin mimari planı kareye yakın dikdörtgendir. Bina kagir olarak inşa edilmiştir. Bir merkezi kubbe ve bu merkezi kubbenin köşe boşluklarında yer alan dört küçük kubbeyle bulunur. Harim, mihrap cephesi ve yan cephelerdeki, yuvarlak kemerli pencerelerle aydınlanmaktadır. Ahşap çatılı yapıya, ahşap son cemaat yeri ve hünkar mahfili 1837’de Sultan II. Mahmut tarafından ilave ettirilmiştir. Fevkani camiinin girişi, her iki yanda üçer pencere, üst katında ise ikişer pencere ile simetriktir. Caminin gördüğü pek çok onarıma rağmen, ampir üsluba sahip mihrap, ana hatları ile özgünlüğünü korumuştur. Minber ve vaaz kürsüsü ise sonradan eklenmiştir. Caminin minberini Hattat Hasan Efendi yaptırmıştır.