L'ulivo è un albero sempreverde e un albero latifoglie, la cui attività vegetativa è pressoché continua, con attenuazione nel periodo invernale. Ha crescita lenta ed è molto longevo: in condizioni climatiche favorevoli può diventare millenario e arrivare ad altezze di 15-20 metri. La pianta comincia a fruttificare dopo 3-4 anni dall'impianto, inizia la piena produttività dopo 9-10 anni e la maturità è raggiunta dopo i 50 anni; a differenza della maggiore parte dell'altra frutta, la produzione non diminuisce con alberi vetusti, infatti nel meridione si trovano oliveti secolari. Le radici, per lo più di tipo avventizio, sono espanse e superficiali: in genere non si spingono oltre i 0,7-1 metro di profondità.

Il fusto è cilindrico e contorto, con corteccia di colore grigio o grigio scuro e legno duro e pesante. La ceppaia forma delle strutture globose, dette ovoli, da cui sono emessi ogni anno numerosi polloni basali. La chioma ha una forma conica, con branche fruttifere e rami penduli o patenti (disposti orizzontalmente rispetto al fusto) secondo la varietà.

Le foglie sono opposte, coriacee, semplici, intere, ellittico-lanceolate, con picciolo corto e margine intero, spesso revoluto. La pagina inferiore è di colore bianco-argenteo per la presenza di peli squamiformi. La parte superiore invece è di colore verde scuro. Le gemme sono per lo più di tipo ascellare.

Il fiore è ermafrodito, piccolo, con calice di 4 sepali e corolla di petali bianchi. I fiori sono raggruppati in numero di 10–15 in infiorescenze a grappolo, chiamate "mignole", sono emessi all'ascella delle foglie dei rametti dell'anno precedente. La mignolatura ha inizio verso marzo–aprile. La fioritura vera e propria avviene, secondo le cultivar e le zone, da maggio alla prima metà di giugno.

Il frutto è una drupa globosa, ellissoidale o ovoidale, a volte asimmetrica. È formato da una parte "carnosa" (polpa) che contiene dell'olio e dal nocciolo legnoso e rugoso. Il peso del frutto varia tra 1–6 grammi secondo la specie, la tecnica colturale adottata e l'andamento climatico. Ottobre-dicembre è il periodo della raccolta, che dipende dalle coltivazioni e dall'uso che si deve fare: se da olio o da mensa.