John Mayall urodził się w rodzinie Murraya Mayalla - gitarzysty i entuzjasty jazzu. Od najmłodszych lat słuchał amerykańskich bluesmanów takich jak Leadbelly, Albert Ammons, Pinetop Smith czy Eddie Lang i sam uczył się gry na fortepianie, gitarze i harmonijce. Po ukończeniu college'u Mayall odsłużył trzy lata w armii brytyjskiej w Korei. W 1956 zaczął grać bluesa w półprofesjonalnej grupie The Powerhouse Four, a następnie w The Blues Syndicate. Po wpływem Alexisa Kornera przeniósł się do Londynu i utworzył tam John Mayall's Bluesbreakers.
Mayall był przeciętnie o dziesięć lat starszy niż pierwsze pokolenie muzyków brytyjskiego rock and rolla i rocka i w momencie, gdy ten się narodził miał już wieloletnie doświadczenie muzyczne. Nic zatem dziwnego, że stał się nestorem sceny rockowej w pierwszej połowie lat sześćdziesiątych. Mayall był też pierwszym, który sięgnął do korzeni muzyki rockowej - bluesa i zainicjował styl blues rock. W jego grupie John Mayall Blues Breakers, która była swoistą "wylęgarnią" i szkołą talentów, występowali tacy muzycy jak Eric Clapton i Jack Bruce z Cream, Peter Green, John McVie i Mick Fleetwood z Fleetwood Mac, Mick Taylor z The Rolling Stones i wielu innych. Większość uczniów Mayalla znacznie przewyższyła go popularnością.
Pod koniec lat sześćdziesiątych, po komercyjnym sukcesie w USA, Mayall przeprowadził się do Laurel Canyon w Los Angeles wtapiając się w lokalną scenę blues rocka i jazz-rocka.