Hvedholm Slot, nævnes første gang i kong Valdemars jordebog i 1231 som kongsgården Horn, der var 30 mark guld værd. Lars Jonsen Panter satte sig som drost på Langeland, efter opstanden mod Christoffer II i 1332. Efter 8 år uden konge, samlede Valdemar Atterdag i 1340 riget, men først i 1430 mageskiftede Laurids Jonsen Panter Langeland med kongens Horneland, hvorved kongsgården kom i private eje. Mette Pedersdatter Present fik gården i 1475 fra sin første mand Laurens Jensen Panter, der også ejede Løgismose, og hvis far var dommer under Margrethe I., og hvis farfar var drost Laurids Panter. Hun giftede sig med Eiler Hardenberg, hvis slægt stammer fra Hannover, og kom til Danmark med den holstenske greve Gert (den kullede). Sønnesønnen Erik faldt som én af de brynjeklædte ryttere i krigen om Ditmarsken år 1500. Danskerne blev skubbet af hestene og lå i tunge brynjer i muldrede grøfter ude af stand til at rejse sig. Hans søn Jacob Hardenberg samlede godserne Arreskov og Sandholdt gennem giftermål med Edel Bille, og Holme Kloster, som han købte af kongen. Hans anden hustru Sophie Lykke fortsatte som lensmand efter mandens død. Hun var en af landets få kvindelige lensmænd og tilmed en af de strengeste.