Între anii 1069 şi 1076, episcopului de Rochester, Gundulf, i s-a cerut la ordinul lui William Cuceritorul să creeze o schiţă pentru un castel. Fondaţia pe care avea să fie castelul era pe un fost templu roman Claudius (unde între 54 D. Chr. Şi 50 D. Chr), templu ale cărui galerii subterane pot fi văzute astăzi, într-un tur al castelului.
Datorită unei posibile invazii vikinge în anul 1080, se crede că perioada de construcţie a castelului ar fi fost mai lungă, până în anul 1100. În 1645, fostul castel regal a devenit închisoare a districtului Essex pentru generalul Matthew Hopkins, care întemniţa şi interoga femeile acuzate de vrăjitorie. Sir Charles Lucas şi Sir George Lisle (lideri roialişti) au fost executaţi în castel, în anul 1648, în timpul celui de-al doilea război civil englez, iar legenda locală spune că în locul unde cei doi au murit, nu mai creşte iarbă. În prezent, poate fi găsit un mic obelisc care să indice locul. În 1650 într-o anchetă a parlamentului, s-a decis ca valoarea pietrei din castel să fie de 5£. Astfel, în 1683, John Wheely, un negustor de fierărie a obţinut licenţa pentru a distruge castelul pentru piatră. Cu toate că a reuşit să distrugă o mare parte din structura superioară, el a renunţat la acest proiect datorită faptului că nu reuşea să scoată profit.
În 1727, Mary Webster a cumpărat castelul pentru fiica sa, Sarah, care era măritată cu un membru al parlamentului din Colchester, Charles Gray. În 1740 Charles Gray a început restaurarea castelului. A adăugat faţada şi turnul care pot fi văzute şi astăzi şi a creat parcurile de lângă castel.
În 1922, castelul Colchester şi toate împrejurimile sale au fost date oraşului Colchester, şi au rămas aşa cum le puteţi vedea şi astăzi, accesibil tuturor, fie că vrei să te bucuri de parcuri şi de facilităţile acestora fie că vrei să vizitezi castelul care acum a devenit muzeu.
Cu toate că, deocamdată, muzeul este închis până la data de 2 mai 2014, datorită unor lucrări foarte importante de renovare dintre care amintim: o platformă interactivă disponibilă la faţa locului care să ofere informaţii, poveşti ale diferitelor personalităţi disponibile în format audio şi video şi proiecţii video cu diferite scene; noul muzeu Colchester garantează o experienţă unică.