Søborg Slot kendes fra 1100-tallet, hvor slottet blev mageskiftet mellem kongen og Roskildes biskop.
Ærkebiskop Eskil udbyggede i 1100-tallet de eksisterende bygninger til et egentligt borganlæg omfattende et sluttet fæstningsanlæg med ringmur og voldgrav. Sådan har historien lydt i mange år. Da Eskil var i nær kontakt med Esrum Kloster, er det sandsynligt, at han selv boede på Søborg ikke langt derfra. Men Saxo skrev, at Eskil havde bygget en borg i "den lethriske mose", men om det var Søborg vides ikke. Ingen har kunnet vise en forbindelse mellem Eskil og Søborg med fund eller skriftlige kilder. Forbindelsen er kun en hypotese.
I 1985 blev der gravet to søgegrøfter, som skulle klarlægge forholdene mellem det ottekantede tårn og palatiet. En ca. 11 m bred vold har omkranset borganlægget. I volden er fundet tegl, og det er der også i det ottekantede tårn, som er lavet samtidig med volden. Palatiet er opført senere. "Udgravningerne antyder, at palatiet måske først er opført i slutningen af 1200-årene." Derved kan det intet have med Eskil at gøre, da han døde i 1181.
Søborg og andre nordsjællandske bygningsværker fra den tid (Gurre Slot, Esrum Kloster) blev bygget med mindre tegl, end man ser i Ringsted og Sorø, men der findes også mindre tegl i Hammershus. Teglene er meget ujævne, men teglbrænding var helt nyt for danskerne. Teglbrænderier blev bygget nær ved byggepladserne, og standardstørrelser på sten kom først senere. Tegl var kendt fra sydligere lande, og fra Lombardiet kom teglbrændere og murere for at hjælpe danskerne. Fra begyndelsen var det kun kirken, konger og stormænd, der havde midler til at bygge med det nye materiale.
I middelalderen lå borgen på en ø i en fjord med forbindelse til Kattegat ved Gilleleje. Senere blev fjorden til Søborg Sø, der blev afvandet 1872-96 ved gravning af en kanal (Søborg Kanal), der som fjorden udmundede i Gilleleje.
Søborg Slot var Danmarks stærkeste borg og benyttedes som fængsel. Blandt andre har Buris Henriksen været fange her. Han blev indsat i 1167 og sad formentlig fanget her til han døde. Jens Grand, ærkebispen af Lund, sad fanget fra 1294 og til sin dramatiske flugt halvandet år senere.
Søborg Slot var beboet indtil Grevens Fejde i 1534-35, hvor det blev ødelagt. I 1577 blev det lagt under Kronborg og lensmanden fik tilladelse til at bryde sten på Søborg.
Søborg Kirke blev opført omkring 1180 som en købstadskirke i tilknytning til slottet.