Zijn familie had helemaal niks te maken met de scheepvaart, toch was James enorm onder de indruk van de scheepvaart toen hij er voor het eerst mee in aanraking kwam.
Toen James 14 jaar oud was ging hij aan boord van een schip genaamd: ‘HMS Conway’. Op dit schip werd hij voor een gedeelte opgeleid. De rest van zijn opleiding vervolgde hij op de King Edward VII Nautical School in Londen.
In april 1912 studeerde hij af. James ging meteen na zijn studie bij de White Star Line werken. Hij werd op de ‘Oceanic’ geplaatst.