Conacul Rust en Vreugd a fost construit ca o casă pentru Willem Cornelis Boers, un funcționar fiscal înalt din Compania Indiilor Olandeze, în jurul anilor 1777–1778. Casa a fost construită la marginea orașului, în suburbii, unde era și o grădină imensă. Aceasta a trecut pe la mai mulți proprietari și în anul 1878 a fost cumpărată de către Biserica Reformată Olandeză, devenind centru de instruire pentru profesori. Liceul Cape Town a ocupat proprietatea între anii 1925–1957, iar în anul 1960, a fost transformat într-o galerie. O altă restaurare a avut loc în anul 1993, fiind instalate facilități pentru accesul celor cu dizabilități.
În anul 1965, William Fehr a donat colecția sa de artă pe hârtie care includea acuarele, picturi și desene pentru poporul din Africa de Sud. Aceste colecții sunt găzduite la Rust en Vreugd pentru a fi protejate, dar doar o parte dintre lucrări sunt în expoziție, restul fiind păstrate în condiții speciale. Casa istorică și grădina sunt situate în centrul de afaceri al orașului Cape Town. Casa Rust en Vreugd este casa colecției de picturi numită Africana. Colecția cu picturi superbe, litografii și desene reflectă istoria maritimă și socială a orașului Cape Town și a sudului Africii. Casa a fost decorată cu lucrări ale sculptorului Anton Anreith, cum ar fi fereastra în stil rococo de deasupra ușii.
Grădina este stilizată într-o manieră originală, iar sala de bal are un farmec aparte. Donatorul colecției, William Fehr (1892-1968), a fost un colecționar de artă din oraș care, printre altele, mai colecționa și mobilă. Colecțiile lui se împart între cele expuse la castelul Castle of Good Hope și la Rust en Vreugd. Mai întâi, colecțiile sale au fost expuse în anul 1952 la castel ca parte a tricentenarului Van Riebeeck Festival.
Între anii 1964 – 1965, guvernul a căpătat toate colecțiile sale și acestea au fost expuse în cele două locuri. Colecțiile reflectă perioada olandeză colonială între secolele al XVII-lea – al XIX-lea și epoca postbritanică din anul 1795, fiind o sursă unică pentru istoria culturală a Africii de Sud. Colecțiile din Rust en Vreugd sunt picturi din secolele al XVI-lea și al XIX-lea, numite generic century pictorial Africana și includ acuarele, litografii și gravuri istorice. Rust en Vreugd este localizată lângă clădirea Parlamentului și centrul de afaceri zonal de pe strada 78 Buitenkant Street, aceasta fiind un exemplu de clădire din secolul al XVII-lea.
Se presupune că cel care a construit casa a avut venituri peste ceea ce câștiga în mod normal, deoarece se spune că era o persoană coruptă. Casa, din punct de vedere material, este mult peste puterile sale financiare, așadar banii câștigați de proprietar în plus erau folosiți pentru casă. De aceea, aceasta are două etaje, este tipică pentru cele construite atunci, dar mult mai mare și decorată excesiv.
Fațada decorată distinctiv include elemente clasice, un balcon sprijinit pe 4 coloane din lemn de teak cu capiteluri corintice și o pivniță mare. Tipic pentru acea vreme, la intrarea în casă exista un voorhuis, cu sală de recepție, de unde se trecea spre zona numită agterhuis, unde se servea masa și se deschidea spre o curte interioară. Pe o parte a curții era bucătăria și o cămară și în partea opusă erau dormitoarele. Etajul de sus avea alte dormitoare, baia și un depozit.
Construcția este masivă, cu lemn de teak folosit pentru grinzi și podele. Porțile de fier au fost lucrate la Amsterdam și trimise aici după aceea. Sunt datate din anul 1778 și este scris numele casei Rust en Vreugd în design. Acestea au fost vândute în anul 1878 bisericii parohiale Church at Penkridge din Staffordshire, Anglia. Influența arhitectului casei, Thribaul, care venea din Europa, a fost importantă în arhitectura orașului, acesta aducând noi concepte de design în Cape Town.
Boers a fost rechemat în Olanda în anul 1783 și casa Rust en Vreugd a intrat în posesia OG de Wet, apoi trece în posesia guvernului și va fi folosită în scopuri educaționale și ca galerie de artă. A fost declarată monument național în anul 1940. Restaurată între anii 1960-1970, casa Rust en Vreugd face parte din Muzeul Iziko.
