Међу првим племенима која су населила Брионе cy Хистри (око 1000. п. н. е.), након којих су дошли Римљани и у XVI веку Хрвати након великог помора аутохтоног романског становништва[3]. На Брионима постоје многи културно-историјски остаци од којих су најпознатији и најсачуванији: римски ладањски дворац (villa rustica) из I - II века и римске терме, Венерин храм, византијски каструм, базилика Св. Марије из V - VI века, црква Св. Германа из XV века.

Кад је у другој половини 19. века изграђена Пула и обновљено њено војничко значење (постаје главна ратна лука Аустроугарске), Брионска острва, постају важан део њеног одбрамбеног система (направљена је утврда и осматрачница). Године 1893. аустријски индустријалац (P. Kupelwajser) купује острва и уз велике трошкове асанира. У том раду учествује и Роберт Кох, који је искоренио маларију са ових острва исушивањем мочвара и порибљавањем мочваре рибицама које се хране ларвама комараца. Након тога, Бриони постају монденско летовалиште познато широм Европе[4].

Власник је подигао велике и за оно време луксузне хотеле. Поред морског купалишта, био је подигнут и наткривени базен са загрејаном водом. Направљени су путеви, углавном колски (за вожњу кочијама и бициклима), уређено је коњско тркалиште, те игралишта за голф и тенис. Острва су насељена бирном дивљачи (срне, јелени, зечеви, фазани, патке и др.), виногради дају добра вина, а с копна су доведени вода, телеграфско-телефонска веза и електрични вод. Туристичке су грађевине смештене на источној страни Велог Бриона, на месту које је најближе копну.