Dit is de enig overgebleven windmolen in Kampen. Gebouwd in 1842 als opvolger van een molen die door brand verloren was gegaan (en op dat moment pas twaalf jaar oud). Dié molen was op zijn beurt gebouwd nadat een voorganger in september 1828 bij noodweer door een zware windstoot was getroffen en geheel werd verwoest (en waarbij ook de molenaar en diens stiefzoon om het leven kwamen).

In juli 1859 vroeg molenaar Jan Willem Reynders het Kamper stadsbestuur of hij een wind-, koren- en pelmolen mocht bouwen bij de Venepoort. De geboren Oldebroeker was in 1829 naar Kampen gekomen alwaar hij een molen en een stukje land had gekocht, in de volksmond bekend als de Meulenberg. Maar het Kamper stadsbestuur gaf geen toestemming. Reynders moest nog tot 1865 wachten voordat hij een grotere molen, de Voorste Molen genaamd, kon kopen van de failliete molenaar Hoegen. 

De Voorste Molen stond eveneens buiten de Venepoort en werd rond 1841 gekocht door Jan Mulder. Hij woonde er met zijn zuster Greetje die in 1844 trouwde met Hendrikus Hoegen, waarna de molen in zijn bezit kwam. Maar de zaken gingen slecht: in 1865 ging Hoegen failliet en zijn molen en bijbehorende eigendommen gingen in de publieke verkoop.
Molenaar Reynders, nog altijd op het vinkentouw, sloeg eindelijk zijn slag. Tot 1923 zou deze molen in bezit van de familie Reynders blijven. Bij de oudere Kampenaren staat de molen nog altijd bekend as de Meule van Reynders.

In januari 1923 kwam Gerrit Helmus van der Vegte op de molen. Tot 1949 maalde hij er dagelijks granen. De opkomst van de meelfabrieken deden hem evenwel langzaam maar zeker de das om. In 1949 besefte hij dat hij niet langer meer tegen de concurrentie kon opboksen. Hij deed zijn molen over aan koffiebranderij Kanis en Gunnink. Bij een bedrijfsovername kwam de molen in bezit van de Leympf melkfabriek in Leeuwarden.

Deze melkfabriek wil in 1952 uitbreiden en daarom moest de molen maar verdwijnen. Dit was tegen het zere been van de Kampenaren die hun molen koste wat kost willen behouden. Er ontstond een spontane inzamelingsactie onder de bevolking (Behoud Kamper Molen) om de molen voor sloop te behoeden.
De directie van de melkfabriek stelde vervolgens voor om de molen te verplaatsen omdat dit veel goedkoper zou zijn dan slopen en herbouwen. De gemeente Kampen reageerde positief en de architect Koster bedacht een plan om de molen ruim een halve kilometer te verplaatsen richting de IJsseldijk. De inzamelingsactie bracht uiteindelijk ƒ 15.000,-- op en dat bedrag werd door de gemeente en de provincie Overijssel verdubbeld.

Half maart 1952 werden de wieken van de molen gedemonteerd en de onderbouw gesloopt. 7 april 1952 brak de dag van de grote verhuizing aan. De verhuizing van De Meule van Reynders was een bijzondere gebeurtenis en half Kampen liep uit, dit ondanks het slechte weer. Pers uit binnen- en buitenland was paraat, onder meer van het befaamde New Yorkse weekblad LIFE. Gemeentearchitect Versteeg uit IJsselmuiden bedacht de naam "D'Olde Zwarver" en dat vond iedereen zo toepasselijk dat dit de officiële naam is gebleven.

Niet lang na de overplaatsing ging het grondig mis: bij de zware storm van 31 januari/1 februari 1953 (die vooral in Zeeland dood en verderf zaaide) brak de as. Het wiekenkruis ging dus verloren en, omdat de romp net met nieuw riet gedekt was, was er vrijwel geen geld meer. Toch kwamen er vrij snel een sloopas en -roeden uit Oeffelt (N.Br.).

De molen was in de jaren '50 nog af en toe in bedrijf. In de jaren '60 volgde stilstand en licht verval. In 1972 volgde herstel aan het wiekenkruis: de Busselneuzen werden weer vervangen door Oud-Hollands.

Na een omvangrijke restauratie, die in 1978 gereed kwam, was de molen regelmatig op zaterdagmorgen in bedrijf en werd ook gemalen voor een bakker en particulieren.

In augustus 1999 verdween d'Olde Zwarver weer in de steigers, ook de kap ging eraf. Het rietdek was versleten en het houtwerk aangevreten door de bonte knaagkever. Woensdag 22 maart 2000 werd het eerste gedeelte van de restauratie afgerond met het terugplaatsen van de kap, waarna werd gewerkt aan de nieuwe wieken en het rietdekken van de romp. Ook werd ervoor gekozen om weer Busselneuzen aan te brengen.
Op 24 mei 2000 nam men de molen weer in gebruik en sindsdien wordt er geregeld gedraaid en ook gemalen.