Velký Kosíř a jeho nejbližší okolí leží na rozhraní dvou geologických jednotek: Českého masivu a Západních Karpat. Vlastní hřbet Kosíře jako součást Drahanské vrchoviny náleží ke staršímu Českému masivu, okolní sníženina Hornomoravského úvalu je vyplněna sedimenty mladší Karpatské soustavy.
Výrazný tvar Velkého Kosíře v rovinaté krajině Hané podnítil řadu legend a mylných domněnek o jeho sopečném původu. Geologové však jednoznačně dokázali, že je budován horninami, které se usazovaly ve spodnokarbonském moři (břidlicemi, drobami a slepenci). Nikde v tomto prostoru nebyla nalezena žádná hornina sopečného původu. Výsledná podoba hřbetu Velkého Kosíře vznikla během geologické minulosti díky zlomům v zemské kůře.
V okolí nejznámějšího hanáckého kopce najdeme řadu různých hornin patřících několika geologickým útvarům. K nejstarším horninám celé Moravy náleží drobné ostrůvky vyvřelých hornin žulového charakteru (granodiority) známé od Třebčína a Kaple. V okolí Studence se zase vyskytují přeměněné horniny – fylity. Čelechovice na Hané jsou proslulé výskyty vápenců s hojnými zkamenělinami devonského korálového útesu. Samotný hřbet Velkého Kosíře je budován spodnokarbonskými usazeninami. Hornomoravský úval vyplňují třetihorní mořské (Slatinky, Služín, Hluchov) a jezerní sedimenty (Smržice). Ve čtvrtohorách se na starších horninách uložily spraše. Geologickou stavbu území přehledně zobrazuje geologická mapa.
V prvohorách, v období nazvaném devon proniklo poprvé do této oblasti moře. Nejstaršími usazeninami jsou šedožluté a narůžovělé křemité slepence zastižené u Kaple. V jejich nadloží se objevují slavné čelechovické vápence s četnými zkamenělinami mořské fauny. Díky bohatým nálezům korálů, stromatopor, měkkýšů a trilobitů se staly tyto vápence těžené v minulosti na jihovýchodním úpatí Kosíře světoznámé. Nad nimi pokračovala vápencová sedimentace usazováním vápenců macošského souvrství a líšeňského souvrství (vývoj typu Moravského krasu) a břidlic ludmírovského vývoje. Vrstevní sled uzavírají tzv. březinské břidlice, které náleží podle trilobitové fauny prokazatelně již spodnímu karbonu. Chráněná území Růžičkův lom a Státní lom založené v devonských vápencích patří k nejvýznamnějším paleontologickým lokalitám České republiky. (foto: Calceola, stromatopora aj.)
Hřbet Velkého Kosíře je tvořen horninami mladšího prvohorního útvaru – karbonu. Karbon je v geologické minulosti celé České republiky velmi dramatickým úsekem. Vrcholí v něm totiž horotvorné procesy variského (hercynského) vrásnění, vyvolané kolizí dvou velkých desek zemské kůry. Na Prostějovsku se zpočátku toto vrásnění neprojevilo, a proto přecházejí mořské usazeniny plynule, bez přerušení sedimentace z devonu do karbonu. Během spodního karbonu se mořská pánev začala prohlubovat. Z okolních vrásněných pohoří byl mořskými proudy přinášen úlomkovitý materiál, který se zde ukládal ve velkých mocnostech. Z něj vznikly pro spodní karbon typické usazeniny jílových břidlic, drob a slepenců. Pro hlubokomořské úlomkovité sedimenty, v nichž se rytmicky střídají jemnozrnnější a hrubozrnnější polohy, se užívá označení „kulm“.
Horniny spodního karbonu (jinak také kulmu), které najdeme na celé Drahanské vrchovině, se dělí na souvrství protivanovské a myslejovické. Velký Kosíř je tvořen horninami myslejovického souvrství. Ve východní části území k němu náleží kosířské droby, těžené v minulosti ve velkém, dnes již opuštěném lomu u Stařechovic, v západní části se vyskytují studnické břidlice.
Teprve po uložení mohutných vrstev drahanského kulmu se v této oblasti projevilo variské vrásnění. Za to, že tvoří výraznou elevaci nad okolní rovinatou krajinou, vděčí Velký Kosíř zlomům v zemské kůře. V jeho okolí se uplatňují vlivy systému hlubinných zlomů SZ - JV směru, označovaných jako „poruchové pásmo Hané“. Na těchto starých tektonických liniích probíhaly vertikální pohyby, které ve třetihorách a čtvrtohorách definitivně vytvořily výsledný tvar Velkého Kosíře, označovaný někdy jako hrásť.
Od svrchního karbonu do období starších třetihor byla již tato oblast souší. V mladších třetihorách (neogén) se stalo okolí Velkého Kosíře součástí prostoru, který geologové označují jako karpatská předhlubeň, a který byl opět zaplaven mořem. Jeho přítomnost dokazují písky a jíly na známé lokalitě Slatinky, pobřežní usazeniny u Služína a jemnozrnné písky ze zkamenělinami u Hluchova. Neogenní usazeniny obsahují četné zkameněliny např. červených řas, mechovek, velkých ježovek, plžů, mlžů (hřebenatek a ústřic) a žraločích zubů.
Ve čtvrtohorách (pleistocén) se usazovaly mocné komplexy spraší a sprašových hlín, které pokryly podstatnou část Hornomoravského úvalu a zasáhly do přilehlých částí Drahanské vrchoviny. Spraše obsahují velké množství kosterních pozůstatků velkých savců (mamut, nosorožec srstnatý, kůň, jelen).