Gydytojas, chirurgas, Lietuvos kariuomenės sanitarijos pulkininkas. Gimė 1890 m. gruodžio 17 d. Rusinuose, Veiviržėnų valsčius. Mokėsi Palangos progimnazijoje, 1910 m. aukso medaliu baigė Liepojos gimnaziją, įstojo į Petrapilio karo medicinos akademiją. 1914 m. mobilizuotas į Rusijos kariuomenę jaunesniuoju gydytoju. Pirmojo pasaulinio karo metu fronte buvo sužeistas. 1918 m. išlaikė valstybinius gydytojo egzaminus Charkovo universiteto
Medicinos fakultete. Tais pat metais grįžo į Lietuvą, dirbo Jurbarko ligoninės vedėju.
Nuo 1919 m. rugpjūčio pradėjo dirbti Kauno valstybinės ligoninės Chirurgijos skyriaus vedėju. 1919 m. išrinktas pirmuoju žurnalo „Medicina” redaktoriumi. 1920 m. jis daug prisidėjo organizuodamas Aukštuosius kursus Kaune. Kursų Medicinos skyriuje dėstė chirurgiją. Nuo 1922 m. iki 1935 m. rugsėjo 1 d. dirbo Kauno karo ligoninės Chirurgijos skyriaus vedėju. Nuo 1935 m. rugsėjo iki 1939 m. balandžio dirbo Klaipėdos Raudonojo Kryžiaus ligoninės Chirurginio skyriaus vedėju. 1939 m. balandžio 27 d. vėl mobilizuotas į Lietuvos kariuomenę, grįžo dirbti į Kauno karo ligoninę chirurgijos skyriaus konsultantu. Nuo 1941 m. dirbo Panevėžio apskrities ligoninės vedėju ir chirurginio skyriaus vedėju. 1941 m. birželio 26 d. besitraukiančių sovietinių okupantų apkaltintas ir su kitais dviem Panevėžio apskrities ligoninės gydytojais nužudytas NKVD Panevėžio būstinės rūsyje. Nužudytų gydytojų kūnai rasti Vokietijos kariuomenei 1941 m. birželio 27 d. užėmus Panevėžį. Gydytojų palaikai palaidoti birželio 29 d. Panevėžio apskrities ligoninės kieme 1943 m. rugsėjo 19 d. atidengtas skulptoriaus B.Bučo paminklas nužudytiems gydytojams.
J. Žemgulys parašė medicinos knygas: „Trumpas karo lauko chirurgijos vadovėlis” (1932), „Karo sanitarijos tarnyba divizijos skaidinyje” (1929), skelbė straipsnius chirurgijos tematika. Aktyviai dalyvavo Lietuvos šaulių sąjungos veikloje.
Buvo apdovanotas Lietuvos Didžiojo Kunigaikščio Gedimino ordinu, Lietuvos nepriklausomybės medaliu. 1931 m. apdovanotas Lietuvos šaulių sąjungos ordinu – Šaulių žvaigžde.
Mirė 1941 m. birželio 26 d. Panevėžyje. Palaidotas Panemunės kapinėse.