Jan Zoetelief Tromp werd geboren in Nederlands Indië. Zijn vader Solco Walle Tromp was bestuursambtenaar op Java. De familienaam van zijn moeder was Zoetelief. Zijn oma, ‘Grootje Zoet’, ontdekte dat Jan doofstom was. Haar hele verdere leven zou ze zich om hem bekommeren.
Toen hij drie was, reisde ze met hem van Java naar Europa, bezocht zonder resultaat allerlei specialisten en Jan werd uiteindelijk opgenomen in een doofstommeninstituut te Rotterdam. Daar leerde hij liplezen en gebarentaal. In 1884 keerde hij met grootje Zoet naar Java terug. Hij nam in 1886 de achternaam Zoetelief Tromp aan, uit erkenning voor zijn oma.
In datzelfde jaar keerde de hele familie terug naar Nederland en werd Jan Zoetelief Tromp toegelaten aan de Amsterdamse Academie. Na zijn afstuderen verhuisde hij naar Den Haag en kreeg hij belangstelling voor de Haagse School.