Parasti mazais ērglis ligzdas būvē netālu no meža malas, augstu koku žāklēs. Tās ir liels zaru krāvums. Jaunbūvētas ligzdas, savukārt, var būt ļoti mazas. Zem tām parasti nav putnu atlieku, kas tās ļauj atšķirt no vistu vanagu ligzdām. Zem ligzdas parasti var atrast pa kādai pieaugušo putnu spalvai. Tās ir brūnas, bet ar labi redzamām svītru pēdām. Mazais ērglis ligzdu dekorē ar zaļiem zariem visu sezonu, bet agri pavasarī apdzīvotai ligzdai var nebūt nekādu redzamu dzīvības zīmju – ne mēslu, ne dekorējuma. Arī vēlāk, kad ligzdā jau ir mazulis, mēslu ir ļoti maz.