Kompozitorius, dirigentas, profesorius. Gimė 1890 m. liepos 16 dieną Spraguičio k. (Anykščių r.). Muzikos mokė tėvas ir Leliūnų vargonininkas Kazimieras Treinys, vėliau – Juozas Gruodis. Nuo 1912 m. vargonininkavo, mokytojavo, vadovavo chorams Kuktiškėse, Alantoje, Jarceve (Smolensko sritis). Privačiai mokėsi pas pianistą teoretiką J. Engelį. 1921 m. įstojo į Rygos konservatoriją, 1927 m. gavo vargonininko ir kompozitoriaus diplomą. Kartu su J. Paleckiu subūrė Rygos lietuvių chorą, dėstė muziką Rygos lietuvių gimnazijoje, rengdavo vargonų koncertus, diriguodavo lietuvių muzikos koncertams Rygos radiofone. 1930 m. persikėlė į Kauną. Ten dirigavo „Dainos“ draugijos chorui, radiofono simfoniniam orkestrui, dėstė muziką vienoje iš Kauno gimnazijų. 1937 m. paskiriamas Klaipėdos muzikos mokyklos direktoriumi. Klaipėdą okupavus, mokykla buvo perkelta į Šiaulius. Kartu dirbo ir Šiaulių dramos teatro muzikinės dalies vedėju. Po karo, iki 1956 m. – vėl Klaipėdos muzikos mokyklos direktorius ir pedagogas. 1956-1981 m. – Lietuvos valstybinės konservatorijos choro dirigavimo katedros dėstytojas. Daugelio respublikinių dainų švenčių vyr. dirigentas. Sukūrė oratorijų, simfonijų, rapsodiją, siuitų simfoniniam ir styginiam orkestrui, solo ir choro dainų, kūrinių kaimo kapelai, pučiamųjų orkestrui ir kt. Parašė muzikos vadovėlį „Garsų keliais“ (1936), atsiminimų knygą „Nueitas kelias“ (1976), straipsnių apie muziką.
Nuo 1937 m. kovo pradėjo eiti Klaipėdos muzikos mokyklos direktoriaus ir mokytojo pareigas. Naujasis direktorius ėmė plėsti mokyklos padalinius, įsteigė naujų specialybių klases. J. Karosui teko bylinėtis su miesto valdžia ir dėl mokyklos patalpų. Jo ir kitų šviesuolių rūpesčiu 1938 m. buvo nupirktas žemės sklypas Liepojos g., ir taip buvo padėti pamatai atgimstančiai Klaipėdos konservatorijai. Direktorius rūpinosi ir nauju mokinių kontingentu, stengėsi mokslą padaryti labiau prieinamą, rūpinosi mokymo programomis, sistemingo mokymo principais. Klaipėdos nacių okupacija (1939) bei karas išblaškė suformuotą mokyklos kolektyvą, ir tik po karo baigties vėl buvo ryžtasi prikelti Klaipėdos muzikos mokyklą. Tarp besirūpinančių jos atkūrimu buvo ir J. Karosas, 1946-1956 m. buvo jos vadovu. Tapo Klaipėdos krašto Muzikų bei chorvedžių organizacinio komiteto vicepirmininku, rūpinosi chorais, chorvedžiams per spaudą ir gyvu žodžiu teikė patarimus.
Klaipėdoje įamžintas kompozitoriaus atminimas. 1990 m. Klaipėdos 1-ajai vaikų muzikos mokyklai suteiktas J. Karoso vardas, uostamiesčio gatvė pavadinta jo vardu. 2015 m. Palangoje atminimo lenta paženklintas namas, kuriame daugiau nei 20 vasarų jis gyveno ir kūrė.
Mirė 1981 m. birželio 6 dieną Vilniuje. Palaidotas Antakalnio kapinėse.