Wesley kwam uit een muzikale familie. Tijdens zijn jeugd overleden zijn vader en twee van zijn broers. Toen hij twintig jaar oud was was hij officieel muzikant nadat hij geslaagd was voor zijn cello-examens.
In het jaar 1907 trad hij toe tot het orkest van de hertog van Devonshire. Na een verblijf in het Caribisch gebied kreeg hij de smaak van het reizen te pakken en nam hij contact op met het bureau van de gebroeders Black.