Caminin, Emevî Kumandanı Mesleme b. Abdülmelik tarafından 97-99 (716-717) yılları arasında yapılan İstanbul kuşatması sırasında inşa edildiği yolundaki rivayetin aslı olmadığı bilinmektedir. Bizans’ın müslümanlar için yapılmasına müsaade ettiği mescidin ise şehrin içinde olduğu anlaşılmaktadır. Galata’da VI. yüzyıla ait Aya İrini (Hagia Eirene) Kilisesi’nin kalıntıları üstünde, İstanbul’da Latin hâkimiyeti yıllarında (1204-1261), muhtemelen Katolikler tarafından San Paolo adında bir kilise yapılmış, fakat kesin olarak XIV. yüzyıl başlarında bu yapı Dominiken tarikatı mensuplarının eline geçerek aynı yerde büyük bir manastır ile San Paolo ve San Domenico adına yeni bir kilise inşa edilmiştir. XIV ve XV. yüzyılın ilk yarısında pek çok İtalyan buraya gömülmüştür. Fetihten sonra, fethedilen şehirlerde en büyük kilisenin camiye çevrilmesi usulüne uyularak bu kilise de bizzat Fâtih Sultan Mehmed vakfı olarak 1475’e doğru camiye çevrilmiştir. Fâtih vakfiyelerinde Galata Camii olarak adı geçen Mesa Domenko Kilisesi burası olmalıdır. Ancak İspanya’daki Benî Ahmer-Benî Nasr İslâm Devleti’nin 1492’de sona ermesi üzerine, oradan göç eden müslümanların bu cami çevresine iskân edilmeleri üzerine burası Arap Camii adını almış ve esasının müslüman Araplar tarafından fetihten evvel kurulduğu efsanesi buradan doğmuştur. Kilisenin, Türk mimarisine tamamen yabancı bir biçimde olan kare planlı çan kulesinin Suriye’deki ve bilhassa Şam’daki Emeviyye (Ümeyye) Camii minarelerine çok benzemesi de bu efsaneyi destekleyen bir unsur olmuştur. Cami III. Mehmed (1595-1603) zamanında tamir edilmiş ve XVII. yüzyıl sonlarında çevresini saran evler yıktırılmıştır. Azapkapısı’nda güzel bir sebil-çeşme ile 1956’da yıktırılan bir sıbyan mektebi vakfeden II. Mustafa’nın zevcesi ve I. Mahmud’un annesi Sâliha Sultan Arap Camii’ni hem tamir ettirerek genişletmiş, hem de 1147’de (1734-35) yeni bir şadırvan yaptırmıştır. Cami 6 Cemâziyelevvel 1222’de (12 Temmuz 1807) bir yangın geçirmişse de hemen tamir edilmiştir. Bu tamir sırasında, Dîvân-ı Hümâyun kâtiplerinden Hacı Emin Efendi tarafından binanın manzum bir tarihçesi yazılarak taşa işlenmiş ve bu levha mihrabın sağındaki duvara tesbit edilmiştir. Bu manzumede caminin esasının Mesleme’ye dayandığı uzun uzadıya anlatılmıştır. 1285’te de (1868-69) Sultan II. Mahmud’un kızı Âdile Sultan, kocası Mehmed Ali Paşa ile birlikte avlunun altına bir sarnıçla bugün görülen şadırvanı yaptırmıştır. Arap Camii’nin 1913-1919 yıllarında Giritli Hasan Bey idaresinde büyük ölçüde tamirine girişilerek çatısı kaldırılmış, avlu tarafındaki duvarı indirilip daha ileri alınmış, yeni bir son cemaat yeri yapılmış, içerideki mahfiller ahşap direkler üzerine yeniden inşa edilmiştir. Bu arada döşemenin altında bulunan XIV-XV. yüzyıllara ait yüzden fazla İtalyan mezar taşı Arkeoloji Müzesi’ne kaldırılmıştır. Minarenin alt kısmındaki duvarda da kiliseden kalma fresko resimlere rastlanmıştır. Mihrabın solundaki hücre “Mesleme’nin çilehânesi” olarak düzene konmuş, dışarıda ise kaldırılan hünkâr mahfili merdiveninin yerinde rüya ile keşfedildiği söylenen bir Arap Baba merkadi düzenlenmiştir. Minarenin altındaki geçitte görülen tuğla duvar kalıntıları Bizans devrine aittir. Dikdörtgen biçiminde uzun bir yapı olan caminin son cemaat yeri 1913 yılında Arap mimarisi üslûbunda yapılmıştır. Kıble tarafındaki kısım, tonozlarındaki kaburgalardan anlaşıldığı gibi gotik üslûptadır ve Latin kilisesinden kalmıştır. Bu kısma bitişik olan minare de altındaki gotik kemerli geçidi ile aynı devirdendir. Kulenin üçüz pencereleri kısmen örülerek mazgal haline getirilmiştir. Mihrap ve hünkâr mahfili ile yan kapıların dış çerçeveleri barok üslûpta olduklarına göre Sâliha Sultan’ın tamirinden kalmış olmalıdır. Bunlar, kıble duvarına komşu bazı pencerelerden kalan izlerden görüldüğü gibi daha önce gotik biçimde iken tamirlerde değiştirilmiştir. Caminin bitişiğinde bulunduğu bilinen Ali Paşa’nın hayratı 1106 (1694-95) tarihli çeşme ise bugün mevcut değildir. Fakat cami duvarına bitişik kitâbesiz iki çeşme bulunmaktadır.