In het beekdal van de Vlier werd aan de oostzijde van het Haageind vóór 1383 een vierkante donjon gebouwd, die later de namen Oud Huis en Klein Kasteel kreeg. Het gebouw diende als residentie van de heer van Deurne, eigenaar van de heerlijkheid. Gevaert Willemszoon van Doerne is de oudst bekende heer van Deurne die er met zekerheid heeft gewoond.
Tot begin 16e eeuw was het Klein Kasteel de residentie van de heren van Deurne. Toen werden de heerlijkheid en het Klein Kasteel gekocht door de eigenaar van het Groot Kasteel, Everard Hendrickszoon van Doerne. Na zijn dood kreeg de oudste zoon het Groot Kasteel en de heerlijkheid, waardoor het Groot Kasteel voortaan de residentie van de heerlijkheid zou worden. Het Klein Kasteel kwam toe aan een jongere zoon. Later kwam het in diverse handen terecht; vanaf het einde van de achttiende eeuw tot 1948 was het wederom bezit van de heren van Deurne. In 1948 werd het verkocht aan Hendrik Wiegersma, die het ter beschikking stelde aan zijn zoon Pieter Wiegersma, glazenier. In 1999 werd het aangekocht door de familie Nooijen.
Het Klein Kasteel werd gebouwd als opvolger van een residentie op het goed Ter Vloet, stroomafwaarts gelegen langs de Vlier in het gehucht Kerkeind. De verplaatsing stroomopwaarts naar het Haageind moet in de tweede helft van de 14e eeuw hebben plaatsgevonden. Het Klein Kasteel bestaat tegenwoordig uit de 14e-eeuwse donjon, een 17e of 18e-eeuwse lage boerderijaanbouw en een aangebouwd wit herenhuis uit 1857. Het was tot 1795 een leengoed van de heren van Cranendonck, evenals de naastgelegen Haageindse watermolen (oudste vermelding 1387). Ook de watermolen op het goed Ter Vloet was een Cranendoncks leengoed. Die watermolen brandde in de 17e eeuw af en werd niet meer herbouwd.
Het huidige gebouw van de Haageindse watermolen stamt uit 1631, blijkens jaarankers in de zijgevel. Beweringen van H.N. Ouwerling hebben ertoe geleid dat in veel toeristische informatie het foutieve jaartal 1690 wordt genoemd. In 1816 werd de watermolen buiten gebruik gesteld, na de voltooiing van een windmolen in het dorp.
In de 20e eeuw werd het opslaggedeelte van de watermolen afgebroken en het industriële gedeelte gerestaureerd. Tegenwoordig wordt de watermolen gebruikt als woonhuis en het Klein Kasteel als gastenverblijf.