Hrad je prvně zmiňován roku 1316. Za Jindřicha z Ziegelhainu byl v letech 1356 – 1366 hradní palác přestavěn. Kolem roku 1523 koupil Kámen Petr Malovec a jeho rod vlastnil hrad přes 200 let. Roku 1673 jej dal Jan Kryštof Malovec zcela přestavět v barokní zámek. Po Malovcích přecházelo panství do vlastnictví různých majitelů, z nichž stojí za zmínku především svobodný pán Václav Enis, který v letech 1860 – 1870 provedl poslední podstatnou úpravu sídla a dal mu romantickou podobu. Nejstarší částí je neomítnutý věžový palác protáhlého lichoběžníkového půdorysu v nejvyšší části areálu. K němu přiléhalo na východě obdélné nádvoří, obestavěné ještě ve 14. století obytnými budovami. Přístup k němu vedl věžovitou branou v sv. rohu nádvoří, v místech dnešního vstupního barokního schodiště. Původně tu byl padací most. Jednotlivé gotické trakty byly postupně zcela přestavěny barokně. V témže období vznikly také přístavby schodišť a pavlačí na nádvoří a byly upraveny vnější fasády. Pseudogotická úprava 19. století (nová okna, cimbuří a další detaily) ovlivnila ráz jádra hradu i jeho opevnění, hradní brány i předhradí s pivovarem. Místnosti v přízemí a sklepy si částečně zachovaly původně gotické klenby. Většina sálů má barokní úpravu s dílčími zásahy pseudogotickými. V 1. patře severního křídla se zachovaly zbytky stropů a jejich malířské výzdoby z doby kolem roku 1670. Západní gotický věžovitý palác charakterizuje jednoduché řešení prostoru. Zařízení zámku pochází vesměs z 19. století. Výrazným detailem jsou zejména pseudogotická kamna v rytířské síni v jižním traktu.
Hrad je v současnosti pobočkou Muzea Vsočiny v Pelhřimově. Prohlídka interiérů je rozdělena na dvě trasy. První je klasická hradní trasa, která reprezentuje průřez interiéry s výzdobou a výbavou od cca 17. do 19. století. Navštívíte Rytířský sál, ložnici, kapli, atd. Tato trasa je přístupná s průvodcem. Druhá trasa je přístupná samostatně a reprezentuje muzeum motocyklů. Na první pohled vypadají motocykly na hradě jako podivně umístěná expozice, ale tato volba nebyla náhodná. Hrad, který nebyl v dobrém stavu, prošel velkou rekonstrukcí v šedesátých letech 20. stol., ale neměl příliš přitažlivé interiéry. Současně bylo vzato v potaz, že v nedalekém Pacově bylo již v r. 1904 uvažováno o vzniku motocyklové federace a kolem hradu Kámen vedl tzv. Pacovský okruh, který se jako závod motocyklů jel v r. 1905 a 1906 a byl srovnatelný se současnými závody grand prix. Proto bylo rozhodnuto, že část interiérů bude věnována muzeu motocyklů. Na jeho zřízení se podílelo i Národní technické muzeum Praha. Expozice motocyklů byla pro návštěvníky zpřístupněna r. 1974 a stala se vyhledávanou raritou této oblasti. V současnosti je převážná část exponátů věnována historii motocyklů Jawa a ČZ, ale naleznete zde i jiné značky.