Durante el siglo XVII Frigiliana sufrió un periodo de estancamiento, con una población apenas superior al centenar de habitantes. En mayo de 1640, Íñigo Manrique de Lara fue nombrado conde de Frigiliana. La expulsión de los moriscos hizo que se abandonara la producción de seda, siendo a partir de entonces el cultivo de la caña de azúcar su actividad principal, de la que se conserva aun el Ingenio, edificio del siglo XVI. De esta época son también construcciones como el Palacio del Apero o la Iglesia de san Antonio.
Bajo el reinado de Felipe IV la población adquirió el título de villa y, sólo muchos años más tarde, hacia finales del siglo XIX, llegaron a censarse más de 3.000 personas