La zone de Ksar Seghir a été occupée dès le premier siècle av. J.-C. et pendant la période romaine et dont témoignent les vestiges d'une usine de salaison. Les informations sur le site pendant le Haut Moyen Âge sont très sobres. Il paraît qu'en 708-709 une forteresse qui portait le nom de Ksar Mesmouda, existait à l’emplacement actuel de cette citadelle. Sous les Idrissides, il faisait partie de la principauté d’al Kacem Ibn Idriss II.
En 971, les Omeyyades d’Espagne tentèrent de s’en approprier suite à une expédition ordonnée par le calife Al Hakam Al Moustansir. Al Bakri, géographe du xi e siècle le cite sous le nom de Madinat Al Yam (la ville de la mer) ou Al Kasr AL Awwal (le premier château).
L'origine du site remonte au xi e siècle, il fut utilisé comme forteresse militaire pour les Almoravides (Ksar Mesmouda) et servait à l’embarquement des troupes musulmanes à destination de l’Espagne. Les Almohades en font également, leur port qu’ils baptisèrent Kasr Al Majaz. Les Mérinides sous le règne du sultan Abou Youssef Yaakoub, le baptisèrent Ksar al Majar et s’en servirent comme base de départ pour leurs troupes, dans leurs traversées vers l’Andalousie. En 1287 le sultan Abou Yaakoub Youssef fit fortifier Ksar Sghir d’une enceinte circulaire couronnée de bastions et percée de portes monumentales.
À partir de la deuxième moitié du xv e siècle, la localité subit un nouveau sort. En effet, les Portugais y débarquèrent en 1458 et s’emparèrent de la place fortifiée. Après son évacuation par les portugais, le site servit au début du xvii e siècle, de port pour le débarquement des Morisques refoulés de l’Andalousie.