In het jaar 1885 leidde een brand tot het ontslag van veel werknemers, waaronder zijn vader, die besloot zich bij een verzekeringsmaatschappij aan te sluiten. Vijf jaar later kreeg hij promotie en verhuisde het gezin naar een beter deel van de stad.
Tijdens zijn studie aan de George Street School van Colne ontdekte Wallace de liefde voor muziek, deze liefde werd gekoesterd door zijn ouders. Zijn vader leidde het koor van de plaatselijke kerk en spoort hem aan om mee te doen en lessen te nemen. Na school werd Hartley een bankmedewerker.