V južnem pobočju strmega hriba, pod Starim gradom, se nahajajo ostanki edinstvenega kamnoloma mlinskih kamnov.

Kamnolom se omenja že sredi 16. stoletja, možno pa je, da izvira še iz rimskih časov. Ker leži ob dobro označeni Ostrovrharjevi poti, je možno do njega priti z dveh strani: z vznožja (ob potoku Besnica) ali pa z vrha Starega grada, navzdol po označeni poti. V nekaj navpičnih pečinah iz drobno zrnatega kremenovega peščenjaka so dobro vidni sledovi izsekavanja surovih kamnitih kolutov premera okoli enega metra in debeline četrt metra, ki so jih nato spravljali v dolino, v tako imenovano Knapovsko drago. Tam so jih dokončali in prodajali po vsej Kranjski in tudi v sosednje dežele. Tekom zgodovine so jih izdelali več tisoč, zato jih še danes pogosto vidimo pri starih mlinih.

Podgrajski mlinski kamni spadajo med »črne mlinske kamne«, namenjene mletju zrnja za navadno moko (za črn kruh). Vsak mlin je moral imeti vsaj en par kamnov: eden (zgornji) je miroval, drugi (spodnji) pa se je vrtel, gnan z vodnim kolesom. Skozi luknjo na sredini zgornjega kamna se je vsipalo zrnje, moka pa je iztekala skozi režo na obodu kamna v lesen zaboj z odprtino za vrečo.

Območje kamnoloma je od leta 2006 z odlokom Mestne občine Ljubljana razglašen za kulturni spomenik lokalnega pomena. Obenem je Podgrajski kamnolom mlinskih kamnov uvrščen tudi v Evropski kataster kamnolomov mlinskih kamnov. V Sloveniji je to največji in najlepše ohranjen tovrstni kamnolom.

Nekdaj so bili žitni mlini na vsakem potoku, skoraj pri vsaki večji kmetiji. Bili so na vseh treh podgrajskih potokih, v vsej Besniški dolini jih je bilo vsaj sedem.