Insula Robben se afla in Golful Table, la aproximativ 6 kilometri de Bloubergstrand, si se afla la 30 de metri deasupra nivelului marii. Aceasta insula a fost folosita drept inchisoare timp de 400 de ani, si era un loc unde oamenii erau exilati si izolati. Insula Robben a fost folosita pe rand drept oficiu postal, spital pentru boli mintale, avanpost militar si un teren pentru pascut. Initial, singurii locuitori ai insulei erau animalele salbatice ca: broaste testoase, foci, pinguni, pasari etc. Numele insulei provine din cuvantul olandez “robben”, care inseamna foca. Pe insula se aflau si numeroase surse de apa dulce, intrucat se gasesc multe izvoare.
Insula Robben a fost descoperita de exploratorul portughez, Bartolomeu Diaz, in anul 1488, cand si-a ancorat vasul in Golful Table. Pana in 1652, preferand sa evite negocierea cu indigenii de pe continentul Africa, majoritatea vaselor care ajungeau in Golful Table debarcau pe insula Robben, pentru a se reaproviziona cu apa si carne. Drept rezultat, insula a devenit si un loc unde marinarii lasau scrisori sub o piatra inscriptionata, pentru ca mai apoi acestea sa fie preluate de alte vase case debarcau acolo si care se intorceau acasa. Olandezii au inceput sa foloseasca insula si drept loc de pasunat pentru oile si vitele lor.
Potentialul insulei drept inchisoare nu a ramas neobservat, iar in 1671 olandezii au inceput sa-si trimita aici condamnatii. A fost doar o chestiune de timp pana cand aceasta s-a transformat in inchisoare in care erau trimisi detinutii politici si alti nedoriti, care fusesera alungati la Cape din alte colonii olandeze. Guvernul olandez a trimis aici regi, printi si lideri religiosi din Indiile de Est, drept prizonieri fiindca acestia nu erau de acord cu dominatia olandeza din tara lor. Cand Cape a fost anexat de catre englezi, acestia au continuat traditia insulei. In timpul primei ocupatii a englezilor dintre anii 1795-1802, in Golful Table a inceput vanatoarea de balene, iar in 1806, cand acestia s-au reintors, au construit un post pentru vanatoarea de balene. Insa, curand a fost evident ca postul devenise un mijloc de evadare pentru prizonieri, astfel in 1820 aceasta a fost inchisa.
In 1812, s-a facut prima incercare de a folosi insula Robben pentru a construi un azil pentru bolnavii mintali. In 1843, John Montagu, care era Secretarul Colonial, a pus in aplicare un plan prin care insula avea sa fie folosita drept colonie pentru leprosi, bolnavii mintali, pentru cei care sufereau de boli incurabile si pentru saraci. Acest plan includea si mutarea condamnatilor pe continent, unde acestia puteau fi folositi drept forta de munca in proiectele guvernului, ca de exemplu construirea drumurilor.
Acest plan al lui John Montagu a fost acceptat in 1845, iar insula a devenit o casa pentru cei nedoriti, printre care: persoanele fara adapost, alcoolicii, oamenii bolnavi si saraci, prostituatele care aveau boli cu transmitere sexuala etc. Acestia erau din pacate supusi unor tratamente considerate inumane chiar si pentru standardele acelor vremuri. Personalul medical si membrii clerului de pe insula se plangeau adeseori de conditiile existente pe insula. Desi de-a lungul anilor s-au facut cateva imbunatatiri, spitalul pentru leprosi a fost inchis abia in 1931.
Farul de pe insula Robben a fost construit in 1865. Acesta a fost creat de inginerul John Scott Tucker, si avea inaltimea de 18 metri. Recensamantul din 1875 arata ca populatia insulei era de 552 de oameni, in 1891 numarul populatiei crescuse la 702, iar in 1904 ajunsese la 1460. Dupa 1931, toti pacientii au fost trimisi la spitalele din Cape, iar insula a fost folosita drept avanpost militar inainte de cel de-al Doilea Razboi Mondial. Guvernul a construit aici drumuri, case si o centrala electrica, de asemenea si depozite in care erau pastrate armele.
Incepand cu anul 1961, insula a inceput din nou sa fie folosita drept inchisoare. In vremea Apartheid-ului, aici au fost tinuti multi prizonieri de culoare, care erau detinuti politici. Fostul presedinte Nelson Mandela a fost unul din acei detinuti politici, acesta petrecand aici 27 de ani. Alt detinut politic faimos a fost Robert Sobuqwe, care initial fusese condamnat la 3 ani de inchisoare, insa deoarece guvernul nu vroia sa-l elibereze asa repede, a fost creata o lege speciala care le permitea sa-l tina pe Sobuqwe in inchisoare fara a avea acuzatii impotriva lui. Aceasta lege s-a numit “Clauza lui Sobuqwe”.
Inchisoarea, care era faimoasa pentru conditiile grele in care traiau detinutii, a devenit un simbol al fortei spiritului uman, dupa ce detinutii au fost eliberati. In 1990, Nelson Mandela a fost eliberat, iar in 1991 au fost eliberati si restul detinutilor politici. In 1996, au fost eliberati ultimii detinuti de pe insula, iar pe 1 ianuarie 1997 a fost deschis Muzeul Insulei Robben. In 1999, insula Robben a fost pusa pe lista Centrelor Patrimoniului Mondial, datorita cladirilor care reprezinta un memento al vremurilor triste si totodata un simbol al puterii spiritului uman, al libertatii si al victoriei asupra asupririi.