Karlštejn byl založen českým a římským králem, pozdějším císařem Karlem IV., jako poměrně skromná stavba o jedné věži. Záměr uložit zde a ochraňovat Korunovační klenoty Svaté říše římské a relikvií (svatých ostatků) podle posledních výzkumů pojal Karel až později, v roce 1356, a úměrně tomu byly přistavovány nové věže. Slavnostního zahájení stavby dne 10. června 1348 se spolu s Karlem IV. účastnil i první pražských arcibiskup Arnošt z Pardubic. Stavba probíhala mezi lety 1348–1357. Vnitřní výzdoba hradu byla dokončena v roce 1365.

Na počátku 15. století sem byly též přivezeny české korunovační klenoty. Pravděpodobně se tak stalo na pokyn Karlova syna Václava IV. (1378–1419).

Velká věž hradu se nachází na nejvyšším místě hradu a má vlastní opevnění, což odpovídá největšímu duchovnímu významu a účelu, který jí zakladatel hradu určil. Po schodišti s nástěnnými malbami ze života sv. Václava a sv. Ludmily se vstupuje do nejcennějšího prostoru hradu – kaple svatého Kříže. Právě zde byly v minulosti uloženy říšské korunovační klenoty a svaté ostatky, později pak české korunovační klenoty a zemský archiv. Interiér kaple je ozdoben zlacením, drahými kameny a hvězdami, sluncem a měsícem z benátského skla. Kaple je rozdělena pozlacenou mříží na dvě části. Sám Karel IV. na důkaz pokory a úcty vstupoval za zlatou mříž bos. Na stěnách je umístěn unikátní soubor deskových obrazů, jejichž autorem je Mistr Theodorik. V čele se nachází obraz Ukřižování Krista, další obrazy zobrazují nebeské vojsko – svaté mučedníky, svaté vdovy a panny, svaté rytíře, biskupy, papeže a svaté vládce v čele s Karlem Velikým a svatým Václavem. Zajímavostí je, že obrazy pokračují i na rámech. Obrazy zároveň sloužily jako relikviáře. Kaple byla zabezpečena čtverými dveřmi se silnými železnými pláty. Uzamčena byla devíti zámky. Prostor byl hlídán strážními službami, které sídlily nad kaplí. Vstup do kaple byl povolen jen se souhlasem císaře, podle jehož nařízení v této věži nikdo nesměl "spáti nebo ležeti" s žádnou ženou, byť to byla i jeho zákonitá manželka. V kapli se konaly jen zvlášť významné mše, které směli sloužit pouze arcibiskupové a karlštejnský děkan.