De familie van der Pluijm is afkomstig van Dussen/Hank, sinds 1814 Noord-Brabant, voordien Zuid-Holland. Een erg aardig en veel gegevens bevattend boek is "De geschiedenis van Dussen". Waarschijnlijk zijn de eerste van der Pluijm's, die katholiek waren, uit de streek van Den Haag/Leiden naar het overwegend katholieke Dussen Munsterkerk getrokken rond 1670, in de tijd dat er polderland werd teruggewonnen van sinds de Elisabethsvloed 1421 verdronken landen , waar nu nog de huidige Biesbosch is gelegen. In opdracht van de Staten van Zuid Holland en Westfriesland werd in 1669 het gebied van de (nu) Zuidhollandsche Polder gemeten en de percelen beschreven.
Veel nageslacht leidde ertoe dat de familie van der Pluijm in Dussen en het latere dorp Hank de dominante familie in aantal werd. Beroepen waren voornamelijk landbouwers, vissers. Vanaf  omstreeks 1750 begon een grote emigratietrek met name via Oosterhout naar Rotterdam. Daar werden veel van der Pluijm arbeiders (allerlei soort), maar met name schippers en bakkers zijn sterk vertegenwoordigd. Voornamelijk na 1900 vindt verdere verspreiding over Nederland plaats.