De pastorie van de Sint-Lambertuskerk werd in 1776 gebouwd en is dus 250 jaar oud. Alleen de Sint-Corneliuskapel en de toren van de Sint-Lambertuskerk zijn nog ouder. Tot 1776 hadden Beerse en Vosselaar wel hun eigen kerk, maar slechts één pastoor, een norbertijn van de Sint-Michielsabdij in Antwerpen, en die woonde op het Hofeinde in Vosselaar. Beerse had wel een rector (onderpastoor), die tweemaal per week en op zon- en feestdagen een mis moest lezen in de Sint-Lambertuskerk en alle maandagen in de Sint-Corneliuskapel. Die rector woonde in het rectorshuis, dat op de plaats van de huidige pastorie stond.
In 1776 werden de parochies van Beerse en Vosselaar gescheiden en liet Marcellus De Vos, prelaat (abt) van de witheren van de Sint-Michielsabdij, de pastorie in classicistische stijl bouwen. De gevel aan de Pastoriestraat is eigenlijk de achterkant van het gebouw en daarom bevindt het wapenschild van prelaat De Vos zich boven de deur aan de zijde van de Bisschopslaan, de oorspronkelijke voorgevel. De pastorie was tot ver in de 19de eeuw het enige huis in Beerse met een verdieping. Rond het domein werd een brede vestinggracht gegraven. Die zorgde voor bescherming, maar ook voor een bestendige visvoorraad. Die gracht werd in 1960 gedempt.
De eerste bewoner van de pastorie was Norbertus Van de Velde, die al sinds 1768 rector was en in 1776 pastoor werd. Tot 1821 was de pastoor van Beerse een witheer, nadien een seculier priester. De laatste pastoor die in de pastorie woonde, was E.H. Jozef Verlooy van 1977 tot 2002. Het beschermde gebouw werd in 1995-1997 gerestaureerd.