Jim sa nascut la 29 iulie 1923 la Londra, iar in copilarie a suferit oase tuberculoase, ceea ce a insemnat ca a petrecut multi dintre primii sai ani spitalizati pana la varsta de 13 ani. La sugestia tatalui sau, a inceput sa danseze robinetul pentru a intari oasele in picioare si el a descoperit in curand ca are un talent pentru muzica. Ulterior, Jim a luat tambururile s, pana la sfarsitul anilor 1930, a predat si a jucat profesional. Dupa peste 20 de ani de calatorie pe drumul din 7 iulie 1962, Jim a deschis un magazin de muzica, Jim Marshall si Son, la Hanwell, Londra.

Magazinul a vandut o varietate de instrumente muzicale si a atras multe talente emergente, cum ar fi Pete Townshend si Ritchie Blackmore, care erau prieteni ai studentilor de drumuri ale lui Jim. Raspunzand apelurilor la o noua raza de amplificator, Jim si echipa sa au lucrat pentru a produce propriile lor. Primul amplificator, acum cunoscut sub numele de Numarul One, a atras 23 de ordine in prima zi in magazin in septembrie 1962 si va deveni primul dintre multele amplificatoare JTM45.