Desde los orígenes de la empresa americana, la ciudad de El Puerto de Santa María desempeñó un papel destacado que iría aumentando en intensidad hasta los siglos XVII y XVIII. A ello contribuiría en gran medida el ambiente marinero de la ciudad bajomedieval. Pero sería a lo largo de la Edad Moderna, cuando centra ciudad se prolongaría hacía el Atlántico, convirtiéndose en importante puerto exportador y mercantil de productos de la zona, y en intermediario entre el interior de la península y el continente europeo con las tierras americanas.
El colectivo de Cargadores a Indias se hizo fuerte en el siglo XVII cuando las entonces favorables perspectivas atrajeron a esta zona a un buen número de comerciantes que hicieron de la ciudad un centro comercial y cosmopolita. Estos procedían en buena parte de la aristocracia de origen vasco-navarra y del norte peninsular, aunque no faltaron italianos, flamencos o personas procedentes de otras regiones españolas. La vasco-navarra era una aristocracia de dinero y sangre que ocupó un lugar privilegiado en la sociedad local, participando incluso en el gobierno municipal. En general todos estos comerciantes persiguieron ennoblecerse, cosa que su rápido enriquecimiento haría posible en la mayoría de los casos, uniéndose al grupo de nobles hidalgos o miembros de órdenes militares.
En 1.717 se produjo el traslado de la Casa de Contrataciones de Sevilla a Cádiz, ofreciendo un nuevo protagonismo comercial a la Bahía del que El Puerto no quedaría privado. Pero a partir de los últimos años del siglo XVIII y debido, entre otras razones al decreto de libertad de comercio con las colonias (Carlos III, 1.788), nuestra ciudad se debilitó frente a Cádiz en lo que al tráfico ultramarino se refería, comenzando una decadencia comercial que se fue sustituyendo por nuevos horizontes económicos.
Además de contribuir con sus ganancias al incremento de un rico patrimonio artístico, sobre todo religioso, los Cargadores a Indias levantaron en la ciudad importantes edificios palaciegos que, cientos de años más tarde, la apodarían con el nombre de "Ciudad de los cien palacios". Lamentablemente muchos de ellos han desaparecido. Otros, aún se conservan en la silueta o en la memoria de nuestras calles y plazas, como los de Reinoso Mendoza, Rivas, Oneto, Vizarrón, Aranibar, Voss, Villareal y Purullena, Valdivieso, Bernabé-Madero, Ryan, Villette y Wynthuisen, esparcidos por todo nuestro casco histórico.
La Casa-Palacio del Cargador a Indias es heredera de la casa patio sevillana y andaluza y un elemento urbanístico común a las distintas localidades vecinas que participan en el comercio ultramarino. Son los casos de Cádiz, Sanlúcar de Barrameda o El Puerto de Santa María. En todas ellas se considera el edificio civil más representativo y a menudo estaban suntuosamente decoradas y contaban con un amplio servicio doméstico.
El Palacio Vizarrón (o Casa de las Cadenas) está catalogado como Bien de Interés Cultural (BIC)
El Palacio Marques de Villareal y Purullena tiene incoado el expediente para la declaración de Bien de Interés Cultural (BIC)