Jako možná se uvádí varianta, že v roce 925 zde hrabě Altenburg postavil dřevěný hrad, aby sem umístil unesenou dceru říšského císaře, kterou miloval. Právě proto se také na Přimdě v roce 1925 odehrály velkolepé oslavy 1000 let založení zdejšího hradu, kterých se zúčastnilo na 20 tisíc lidí.

 

Podle kroniky vyšehradské začal hrad růst v roce 1126; každopádně musel už existovat v roce 1148, protože právě v té době skončil v jeho vězení bratr knížete Václava II. Soběslav; inu, mocenské půtky si vybíraly daň i v nejvyšších vrstvách. A zdejší vězení okusil v roce 1249 také budoucí král Přemysl Otakar II., když ho sem nechal uvrhnout za pokus zmocnit se vlády jeho vlastní otec král Václav I. Přemysl Otakar II. zde mohl zpytovat své svědomí zhruba pět týdnů.

 

Jedno z největších běsnění zažila Přimda v roce 1336, kdy provázely vládu Jana Lucemburského vleklé spory s císařem Ludvíkem IV. Bavorským. Ten také hrad přepadl a překonal dokonce vnější kamenné hradby. Nakonec se němečtí vojáci museli dát na ústup po té, co obránci zapálili vnitřní obranné dřevěné hradby. V roce 1414 kráčel přes Přimdu Jan Hus do Kostnice. Husité se za to možná chtěli pomstít, a tak vypálili zdejší městečko, hrad však nedobyli. To se psal 16. červen 1429. Hrad se v té době pohyboval jako předmět mezi majetkem panovníka a majetkem rodu Švamberků. Každopádně na konci 16. století už bývá hrad označován jako pustý.

 

V roce 1675 koupil panství i s hradem Jan Václav hrabě Novohradský z Kolowrat. Právě rodu Kolowratů se pozemky, lesy a polnosti v okolí Přimdy po revoluci vracely. Velké ztráty způsobil v Přimdě americký nálet v dubnu 1945.

 

Největším nepřítelem městečka Přimda byla odjakživa voda, respektive její velký nedostatek. Město totiž leží přesně v sedle, které je na rozhraní úmoří Černého a Severního moře. První vodovod byl dřevěný a sváděl vodu na náměstí do kašny z potůčků, které stékaly z vrcholu hory Přimda. Výstavba tohoto vodovodu pomohla uhasit velký požár, který zachvátil město v roce 1585. Jenže když přišlo sucho, musela se voda dovážet z dalších pramenů. Absence této tekutiny dokonce zamezila výstavbu léčebny mariánskolázeňské ozdravné společnosti; nepomohla ani výstavba vodovodu v roce 1932. 5. února 1925 tu byl velký svátek – rozzářila se tu první elektrická žárovka, zájem o ní ale nebyl, protože to bylo hodně drahé. Přimda byla odjakživa německým městem. Do roku 1918 zde nežil nikdy žádný Čech. První lidé naší české národnosti dorazili na Přimdu po I. světové válce a v roce 1938 jich zde žilo 26; Němců tu bylo 1200. Život na Přimdě byl jedním z nejkrušnějších v celých Čechách, lidé odsud odcházeli za prací. Přesto se zdejší lokalita stala známá produkcí zelí, třešní a lískových oříšků.

​

Znak města Přimdy tvoří bílý štít se zeleným trojvrším. Na prostředním vršku stojí lípa přirozené barvy, na jejíž kmen šplhají ze stran dva černí medvědi s červenou zbrojí.