Sinds zijn stichting door Willem van der Leck, heer van den Bergh, heeft de molen, met een korte onderbreking in de 20e eeuw, deel uitgemaakt van de bezittingen der heren (later graven) van (den) Bergh en hun opvolgers. Deze molen is met de Buitenmolen in Zevenaar de oudste nog bestaande windmolen van Nederland, waarbij de molen in Zeddam qua muurwerk nog het meest in orginele staat is.
Waarschijnlijk is de molen gedeeltelijk in een heuvel gebouwd, waarna bovendien een belt werd opgeworpen. De bediening van het kruiwerk is van begin af op de kapzolder geweest.
Deze molen was één van de vier dwangmolens van de heren Van den Bergh. Deze stonden in 's-Heerenberg, Didam en Genderingen. In Zeddam werd het graan gemalen van de boeren uit de omliggende buurtschappen Azewijn, Vethuizen, Vinkwijk, Braamt, Kilder, Stokkum, Wijnbergen en Beek. De boeren volgden z.g.n. "Molenwegen" om bij de molen te komen.
In 1839 werd een tweede koppel maalstenen geplaatst en werd de buitentrap vervangen door een binnentrap.
Bij de molen behoorde van oudsher een naastliggende Rosmolen, waarvan reeds in 1699 melding werd gemaakt. In 1973 is deze rosmolen gerestaureerd. In de Rosmolen wordt in het zomerseizoen geregeld met paarden-tractie gemalen.
Tot 1712 was de molen in bezit van de heren (later graven) van (den Bergh) uit het geslacht Van der Leck. In dat jaar werden zij opgevolgd door graven van het huis Hohenzollern. Eén van hen, uit de tak Sigmaringen, verkocht de molen in 1904 aan H. Gerritschen.
Het kasteel Bergh en de daarbij behorende goederen kwamen in 1912 in handen van J.H. van Heek. Deze richtte in 1923 de N.V. tot instandhouding der goederen en rechten van het Huis Bergh op. In 1929 dreigde de molen gesloopt te worden. Om dit te voorkomen, kocht Dhr. Van Heek in dat jaar de molen.
In 1963 en in 1974 is de molen gerestaureerd. De laatste restauratie kon niet voorkomen dat vanwege de veiligheid de molen in 1982 stil gezet moest worden. De diverse mankementen aan de molen werden met een nieuwe restauratie in de jaren 1990/1991 verholpen. Op 2 juli 1991 kon op feestelijke wijze de molen weer in bedrijf worden genomen.

De naam 'Grafelijke Korenmolen' is onlangs na hernieuwd onderzoek historisch juist gebleken.
Veel molenliefhebbers kennen deze molen als Grafelijke Torenmolen, maar deze naam komt nergens in de archieven voor. Feitelijk heeft deze molen nooit een naam gehad.