Legendás középpályás, tizenhárom év alatt minden jelentős trófeát megnyert a Real Madriddal. Erényei között leginkább az erőt és a bátorságot szokás említeni. Mások durva játékosnak tartották, de ennek ellentmond, hogy soha nem állították ki, gazdag és dicsőséges karrierjét négy sportérdemrenddel is jutalmazták. Ráadásul kapitánya tudott lenni a Plus Ultrának, a Real Madridnak, és a spanyol válogatottnak is.
A vizcaya-i Las Arenas-ban született. Eleinte a piaristáknál tanult, már ott is rúgta a labdát. Ezután az Acción Católica következett, és közben a regionális bajnokság első osztályában vitézkedő Ibarra csapatában is futballozott.Akkoriban a támadó harmadban játszott, élénk játéka, fizikuma, elkötelezettsége és gyorsasága már ekkor kitűnt.
Mindkét lábbal jól bánt a labdával, így nem volt nehéz megjósolni, hogy szép jövő áll előtte.
Tizennyolc évesen a Deusto Egyetemre került és egy nagy múltú klubbal, az Arenas Guechóval (1919-ben megnyerték a Copa del Rey-t) kötött szerződést. Itt már olyan emberek is felfigyeltek rá, mint Ángel Rodríguez, a korszak ismert játékosügynöke, aki személyesen tekintette meg játékát és igyekezett meggyőzni, hogy írjon alá a Real Madridhoz. Zárraga hamar meghozta a döntést és öt nappal tizenkilencedik születésnapja előtt elkötelezte magát a fővárosiakhoz. (A pontosság kedvéért 1949-ben még a Real Madriddal szoros kapcsolatban álló utánpótlásnevelő egyesülethez, az Agrupación Deportivo Plus Ultrához került, két évvel később egy Valencia elleni győzelemmel debütált a felnőttek között.) Három évig a Plus Ultrában kellett volna edződnie, de az akkori tréner, Keeping több barátságos mérkőzésen is bevetette. Első nemzetközi meccsét Magyarország ellen játszotta és ott rögtön szembe is találta magát a világ futballjának egyik legfényesebben ragyogó akkori csillagával, Kubalával. 
A felnőttek között az 1951/1952-es idénytől játszott rendszeresen.
Az „előléptetést” maga Santiago Bernabéu jelentette be. Ebben az időszakban érkezett előbb Sobrado, majd Joseíto, Gausí, Juan González és Pedro Cantero. Annak ellenére be tudott kerülni, hogy röviddel előtte még Miguel Munoz, Montalvo, Luciano és Soto versengtek két posztért a középpályán. Bajnokin már Héctor Scarone idején mutatkozott be. Az uruguay-i mester előbb egy Nice elleni barátságos meccsen küldte pályára jobbszélsőként, két nap múlva bajnokin a Valencia ellen is betette a kezdőcsapatba. Nem játszott rosszul, de gyorsasága nem volt az igazi, ezért Scarone visszatette a padra. Montalvo sérülése azonban közbeszólt, és a Barcelona ellen már ismét a pályán találta magát, igaz, nem az eredeti posztján, de a Real Madrid 5-1-re nyert azon a dicsőséges délutánon. Két héttel később Narro szenvedett sérülést, Montalvo visszatért a kezdőcsapatba, Zárraga pedig újra a jobbszélen taláta magát.
Első két évében negyvennyolc bajnokin játszott és két gólt szerzett. Eközben a csapat nem nyert semmilyen jelentős kupát, de már kezdett körvonalazódni annak a társaságnak a gerince, amely a következő nyolc bajnokságból hatot megnyert és csak kétszer szorult a második helyre. 1954-ben elszenvedte élete első komolyabb sérülését egy Málaga elleni mérkőzésen. Kis időre ez távoltartotta a pályától, de nem akadályozta meg abban, hogy a csapatot Latin-kupához segítse. Ezt a trófeát tartják egyébként a BEK elődjének is.
1953-tól 1960-ig fontos láncszeme volt a Merenguék középpályássorának. Ezalatt tizenegy trófeát gyűjtött be a Real Madrid, köztük zsinórban ötször a BEK-et, a Bajnokok Ligája elődjét. Minden döntőn pályára lépett, ezt csak Gento tudta túlszárnyalni (ő még az 1966-os finálén is játszott). Az ötödik volt pályafutásán a korona, az elődöntőben a Barcelona ellen nem játszott, de a Frankfurt ellen visszatért. Santiago Bernabéu állítólag a következőket mondta a csapatnak: „Fiúk, az ember egy kezén öt ujj van, az embernek öt érzéke van, nekünk megvan négy. Gyerünk az ötödikért!” 
A glasgow-i közönséget lenyűgözte a Real Madrid játéka, a mérkőzés után Zárraga mint kapitány emelhette magasba az ötödik Európa Kupát.
Utolsó két aktív évében is termett számára babér, bár ekkor már csak öt bajnokin láthatta a közönség. 1962. júniusában, mindössze 32 évesen vonult vissza több, mint háromszáz tétmérkőzéssel a háta mögött. A hatvanas években rövid ideig edzőséget is vállalt, például az 1968/1969-es szezonban hat meccs erejéig trenírozta a Málagát (a brazil Otto Bumbelt váltotta), de az együttest nem tudta benntartatni az első osztályban. Futballigazgatóként még két évig a Valenciánál és a Deportivo Alavésnél is dolgozott. A vitoriai egylet ez idő alatt feljutott a Primera Divisiónba. Ő kötött először profi szerződést López Rekartéval, Zubizarretával, illetve leigazolta azt a Jorge Valdanót, aki később a Real Madrid játékosa lett.
1993. októberében szívrohamot kapott, és a madridi Zarzuela Klinikán ápolták. Nyolcvanegy éves korában, 2012. április 3-án hunyt el, szintén Madridban.
A válogatottban
1953. május 26-án Valenciában léphetett pályára először a B válogatottban Luxemburg ellen. A spanyol felnőtt nemzeti tizenegyben nyolc alkalommal szerepelt, 1955-ben éppen a Chamartínban debütált az angolok ellen (1-1). Utolsó válogatott találkozóin ő volt a csapatkapitány is.
Zárraga számokban
Teljes név: José María Zárraga Martín
Születési idő/hely: 1930. augusztus 15./Las Arenas
Elhunyt: 2012. április 3./Madrid
Magasság: 179 cm
Posztja: középpályás
Klubjai ifjúsági játékosként:
– Ibarra
– Universidad de Deusto
Klubjai felnőttként:
– Arenas de Guecho (1948–1949)
– Plus Ultra (1949–1951)
– Real Madrid (1951–1962)
A válogatottban:
– spanyol B válogatott (1953–1955, 2 mérkőzés)
– spanyol válogatott (1955–1958, 8 mérkőzés)
Klubjai edzőként:
– Málaga (1964, 1969)
– Murcia (1965)
Eredményei
– spanyol bajnok (1954, 1955, 1957, 1958, 1961, 1962)
– spanyol kupagyőztes (1962)
– BEK-győztes (1956, 1957, 1958, 1959, 1960)
– Világkupa-győztes (1960)
– Latin-kupa győztes (1955, 1957)
– 2 Pequena Copa del Mundo („kisvilágbajnok”)
– 3 Trofeo Ramón de Carranza
– 1 Teresa Herrera
– 1 Villa Marín de Oro