Nato nel 1519 da Giovanni de' Medici, detto delle Bande Nere (ucciso nel 1526 in uno scontro con i lanzichenecchi), e Maria Salviati, ereditò inaspettatamente il titolo di duca di Firenze nel 1537, alla morte del suo predecessore Alessandro de' Medici, assassinato dal cugino Lorenzino. Fedele all'imperatore Carlo V, prese in sposa nel 1539 Eleonora de Toledo, figlia di Pedro de Toledo, viceré di Napoli, e sorella di Fernando Alvarez de Toledo, duca d'Alba. L'azione di Cosimo favorì il progressivo dissolvimento delle antiche istituzioni comunali e lo Stato evolse sempre più verso una struttura monarchica sul modello delle grandi monarchie straniere. Questo non gli venne perdonato dall'opposizione repubblicana, precocemente schiacciata nella battaglia di Montemurlo (1537), ma che, sotto la guida militare di Piero Strozzi, diede vita a una lunga resistenza nonché propaganda antimedicea almeno fino alla caduta di Siena e quindi dell'ultima roccaforte di Montalcino. Nel 1554-55 assediò Siena con gli Spagnoli, che, una volta espugnata, venne annessa al suo Stato col beneplacito di Filippo II.
Negli anni quaranta e cinquanta del Cinquecento il duca Cosimo condusse una politica antipapale e fu in odore di eresia (proteggendo diversi eretici, tra i quali Pietro Carnesecchi; per non parlare poi degli affreschi commissionati a Pontormo a San Lorenzo a partire dal 1548; Eleonora de Toledo stessa era sospettata di valdesianesimo, ed anche il segretario Pier Francesco Riccio, potente maggiordomo di corte, era sospettato di simpatie riformate. I suoi rapporti col papato furono per lo più molto tesi: Paolo III scagliò contro di lui l'Interdetto a causa della sua opposizione alle pesanti tasse richieste dal papa per finanziare le guerre contro Turchi e protestanti. Ancor di più Cosimo fu fieramente odiato da un papa intransigente come Paolo IV, che d'altronde considerava eretici Carlo V e Filippo II, alleati di Cosimo. Con l'inizio degli anni '60, particolarmente dal 1562, Cosimo si allineò decisamente alla Controriforma, cedendo anche sull'estradizione a Roma di Pietro Carnesecchi, da lui precedentemente sempre protetto, richiesta da Pio V.
Tra novembre e dicembre 1562 perse due dei figli maschi e l'adorata moglie, il che suscitò in lui non poco turbamento. Dal 1564 affidò il governo e le rendite dello Stato al figlio Francesco, conservando per sé il titolo ducale. Negli anni immediatamente successivi continuò comunque a partecipare al governo dello Stato toscano, in collaborazione con il figlio. Nel 1569 Pio V, a cui Cosimo aveva consegnato l'eretico Carnesecchi, lo nominò granduca di Toscana e l'anno seguente lo incoronò solennemente a Roma. Negli ultimi anni si allontanò dalla corte, risiedendo nelle sue ville di campagna. Morì nel 1574.