Kompozitorius, muzikologas, visuomenininkas. Gimė 1891 m. kovo 16 d. Jerubaičiuose (Plungės r.). Muzikos pradėjo mokytis Plungėje pas N. Sasnauską ir pats ten nuo 1908 m. vargonininkavo. 1910-1912 m. vasaromis muziką studijavo Varšuvoje. Kilus I pasauliniam karui, pasitraukė į Sankt Peterburgą, 1918 m. baigė suaugusiųjų kursus ir gavo brandos atestatą. 1919 m. baigė Sankt Peterburgo Imperatoriškąją konservatoriją. Buvo paskirtas į Vitebską, kur 1919-1920 m. konservatorijoje dėstė teorines muzikos disciplinas. Ten jam suteiktas ir muzikos profesoriaus laipsnis.
1920 m. grįžo į Lietuvą, pradėjo dirbti Lietuvos meno kūrėjų draugijoje, prisidėjo prie dramos ir operos teatrų organizavimo, buvo įsteigęs savo muzikos studiją. 1922-1924 m. dirbo Švietimo ministerijoje Meno skyriaus viršininku. Į Klaipėdą atvyko 1924 m. vasarą. Klaipėdos muzikos mokykloje dėstė beveik visus muzikos teorijos ciklo dalykus, vedė pedagoginį chorą, kurį laiką dirbo bendrabučio prižiūrėtoju ir inspektoriumi, 1927-1928 m. mokslo metais ėjo mokyklos direktoriaus pareigas. Jo iniciatyva muzikos mokykloje susibūrė folkloro būrelis, įsisteigė vyrų choras, moterų draugija „Lyra“, mokinių savišalpos fondas ir kt. J. Žilevičiaus pastangomis 1925-1927 m. vasaromis buvo rengiami kursai muzikos mokytojams, mokykloje atidarytas pedagoginis skyrius.
Nuo jaunystės kauptas kultūros senienas J. Žilevičius panaudojo švietėjiškai misijai – 1927 m. Klaipėdoje atidarė muzikos muziejų. Klaipėdos visuomenei J. Žilevičius buvo pažįstamas ir kaip lektorius, ir kaip profesonalių straipsnių muzikos klausimais autorius. 1924–1925 m. Klaipėdoje toliau tęsė žurnalo „Muzikos menas“ (vėliau „Muzika“) leidybą. 1927 m. J. Žilevičius savo lėšomis kartu su D. Andruliu „Ryto“ spaustuvėje išleido vadovėlį „Jaunas dainininkas“. 1929 m. J. Žilevičius išvyko dirbti į JAV. Ten įsitraukė į lietuvių veiklą: įkūrė Amerikos lietuvių parapijų chorų sąjungą, organizavo dainų šventes JAV ir Kanadoje, kaupė lietuvių muzikos istorijos medžiagą, vargonininkavo, buvo kultūrinių bendrijų narys, rašė muzikos klausimais, tyrinėjo Mažosios Lietuvos muzikinę kultūrą.
Sukūrė įvairaus žanro muzikos kūrinių: operečių, instrumentinės muzikos, pjesių ansambliams, kantatų, harmonizavo lietuvių liaudies dainų, išleido monografijų, paskelbė atsiminimų.
Mirė 1985 m. rugpjūčio 5 d. Baltimorėje (JAV).