Rimasto orfano all'età di sette anni, all'indomani si trasferì con la madre a Cuneo dove iniziò a giocare a pallone. Tornò quindi nella natìa Torino dove, contemporaneamente all'attività nella Juventus, «ai tempi in cui anche giocare a calcio in Serie A veniva considerato un divertimento», lavorò come operaio in FIAT. Fuori dal campo, con il collega Pietro Rava mise in piedi un'azienda per la produzione di palloni da calcio; inoltre nel 1948 comparve, insieme ad altri calciatori, nel film 11 uomini e un pallone diretto da Giorgio Simonelli, nella parte di se stesso. Morì settantottenne, dopo una lunga malattia e in povertà, lasciando la moglie e un figlio
Emerso come centravanti, negli anni alla Juventus l'allenatore Felice Borel, grande seguace del sistema inglese, lo dirottò a centromediano con compiti a metà tra quelli di uno stopper e un libero – marcatura dell'attaccante avversario e, una volta riconquistato il pallone, impostazione della ripartenza –, facendone di fatto l'erede in maglia bianconera di Luis Monti. Nonostante l'iniziale ritrosia di Parola verso questo cambiamento, la nuova posizione in campo e le conseguenti prestazioni gli daranno risalto a livello internazionale.La sua notorietà è dovuta soprattutto a un caratteristico gesto tecnico, la rovesciata, che il giocatore fu il primo a utilizzare con frequenza nel calcio italiano. La più famosa "rovesciata di Parola" nacque il 15 gennaio 1950, all'80' di Fiorentina-Juventus,così rappresentata dalle parole di Corrado Banchi, giornalista freelance, autore di una memorabile fotografia:
«[...] Parte un lancio di Magli verso Pandolfini. Egisto scatta, tra lui ed il portiere c'è solo Carlo Parola; l'attaccante sente di potercela fare ma il difensore non gli dà il tempo di agire. Uno stacco imperioso, un volo in cielo, una respinta in uno stile unico. Un'ovazione accompagna la prodezza di Parola.»
Quella rovesciata è stata pubblicata in oltre 200 milioni di copie con didascalie in greco e cirillico, arabo e giapponese, ed è puntualmente riproposta ogni anno sugli album Calciatori delle figurine Panini.
Si dedicò al calcio dopo un breve periodo da ciclista. Esordì diciottenne in Serie A con la Juventus, club di cui diverrà una bandiera, alla fine degli anni 1930, proveniente dal Dopolavoro FIAT; il giornalista e scrittore Giovanni Arpino lo ribattezzò ben presto "Nuccio Gauloises" per via del suo unico vizio, un pacchetto giornaliero di sigarette.vinse una Coppa Italia (1941-1942) e due scudetti (1949-1950 e 1951-1952), collezionando in tutto 334 presenze. Nel 1954 fu ceduto alla Lazio, squadra con cui chiuse la carriera calcistica dopo aver disputato sette partite.Per dieci volte indossò la maglia della Nazionale. Fu il solo italiano che a Glasgow, il 10 maggio 1947, prese parte alla sfida tra Regno Unito e Resto d'Europa, organizzata per l'adesione delle Federazioni dell'isola alla FIFA; malgrado la pesante sconfitta (1-6) e un suo autogol,la prestazione di Parola piacque ai club britannici che, senza esito, tentarono di offrirgli un ingaggio.