Obec se nachází ve členitém terénu. Jsou zde dvě větší vesnice, jižně Olešnice a severně na náhorní plošině Pohoří. Roztroušená zástavba jižně od Pohoří se nazývá Roudný a severně od Pohoří je Podpohoří. Území obce na jihu spadá k říčce Žehrovce, na jejímž protilehlém břehu k Olešnici patří ještě osada Mlýnice (ta se nachází v blízkosti Skokov, které již patří k obci Žďár a Středočeskému kraji). Na východě s obcí sousedí turnovská část Mašov, obce Kacanovy a Vyskeř, na severu obec Modřišice, ze západní strany Všeň.
V severní části území obce se nachází kopcovitý les s pískovcovými skalami, ze Všeně směrem k Valdštejnu tu prochází přes zříceninu Chlum-Kozlov turistická žlutě značená trasa. Po hřebeni Pohoří vede ze Všeně do Kacanov cyklistická trasa č. 4012, značená zeleným pásovým značením. Z Kacanov kolem jižního okraje vsi Olešnice přes Mlýnici a Žehrov vede modře značená cyklotrasa č. 4009.