Na lokaciji, ki jo je okoli leta 1500 zamejilo večinoma še sedaj ohranjeno obzidje vipavskega protiturškega tabora, sta v poznem srednjem veku stala vsaj dva stolpasta dvora. Njuni graditelji in zgodnejši lastniki so najbrž pripadali oglejskim ministerialom, omenjenim v virih. Najbrž sta dvora nastala v XIII. stoletju in sta okoli sredine XIV. stoletja, približno sočasno kot zgornji grad, prešla v habsburško posest. Vir iz leta 1401 poroča, da je takrat vojvoda Viljem Avstrijski podelil dvor v Vipavi v fevd Vilijemu Baumkircherju. Takrat je dobil stolpasti dvor skupaj s pripadajočo posestjo ime Baumkircherjev turn.
Baumkircherjev turn je postal znan zaradi Andreja Baumkircherja, ki se je iz skromnih razmer povzpel v eno od najpomembnejših osebnosti v politični zgodovini avstrijskih dežel v XV. stoletju. Za svoj vzpon je spretno izkoristil spore med cesarjem Friderikom III., oglejskim kraljem Matijo Korvinom in Celjskimi grofi. Kot spreten vojak je kmalu postal nepogrešljiv poveljnik najemniških čet cesarja Friderika III. (1415-1493). Ta je Baumkircherja plačeval s posestmi, privilegiji in denarjem.
V letih 1476-1478 so v Vipavi pustošili Turki. Med načrtnim protiturškim utrjevanjem mest in trgov na Kranjskem je cesar Friderik III. leta 1478 prebivalcem Vipave ukazal, naj svoj trg obdajo z obzidjem in jarki. Kmalu za tem so nekdanja Baumkircherjeva stolpa vključili v kompleks novega protiturškega tabora, ki so ga uporabljali za pribežališče okoliškega prebivalstva. Takrat je celota dobila ime (grad) Tabor.
Viri: TIC Vipava