Středisko dnešního města bylo původně v prostoru Starého Oseka. Svědčí o tom valy v blízkosti dolního nádraží. Osada vznikla výše, na obchodní cestě, vedoucí z Čech přes Bílinu a Krušné hory do Německa. Severozápadně od dnešního kláštera stál opěrný bod, snad dřívější hrad. V horách se od pradávna těžil cín a později i stříbro. Samotný český název Osek (německy Ossegg) zahrnuje v sobě podle názoru jazykovědců způsob, jakým osada vznikla - místo, kde byly shromážděné kmeny získané mýcením lesa.
Mezi historické památky patří - barokní domy čp.30-32 (na náměstí). Sídlo lékárny - secesní dům (čp.3), zdobený štítem s římskými hlavami a dekorativním arkýřem. Broggiovská kaple sv. Kateřiny a Barbory, která je součástí mohutného klášterního souboru, k němuž dále patří konvent s kapitulní síní, křížovou chodbou, studniční kaplí, pivovarem, sladovnou a dalšími stavbami. Ke klášteru byla v roce 1240 připojena kapitulní síň a následně konvent s křížovou chodbou.
Klášter má vysokou historickou hodnotu. V ulicích a zahradách města najdete roztroušené drobné sochy. Turistickou zajímavostí jsou také zbytky prastarého dubu při silnici směrem na Hrob, u něhož údajně odpočíval Jan Žižka.
Osek dává bohaté možnosti na letní i zimní turistiku. Je ideálním východiskem pro výlety do Krušných hor.