L'histoire du Crédit Agricole remonte à la fin du XIXe siècle. Sa création en 1894 a commencé "par la base" (Caisses locales et régionales de Crédit Agricole Mutuel).

D'abord orientée exclusivement vers l'agriculture, ce réseau bancaire s'est diversifié à partir des années 1960 vers l'agroalimentaire, la ruralité, l'artisanat, le financement de l'habitat puis l'ensemble des secteurs économiques, avec une forte présence sur le marché des particuliers.

En parallèle, l'entité nationale, La Caisse Nationale de Crédit agricole, devenue Crédit Agricole SA (CASA), a progressivement renforcé ses activités sur les marchés financiers et l'international. De plus, et, au cours des deux dernières décennies, elle a absorbé par rachat, ou pris des participations stratégiques, dans divers étabissements financiers français, italiens (Intesa) et des pays d'Europe centrale et orientale. En 1986 le Groupe se lance dans l'assurance-vie avec Predica et dans l'assurance dommage en 1990 avec Pacifica. En 1996, c'est Indosuez qui est racheté pour donner la naissance à Indocam (gestion d'actifs - renommé CAAM pour Crédit Agricole Asset Management depuis 1999) et CA-Indosuez (CAI) pour la Banque de Financement et d'Investissement. Plus récemment, elle a absorbé le Crédit Lyonnais en 2003. De la fusion des banques de financement du Lyonnais et de CAI est né Calyon, la banque d'investissement et de financement.

Sur le plan de la structure du capital, l'évennement majeur est en 2001, lorsque CASA s'introduit en Bourse mais reste détenue majoritairement par les 44 Caisses Régionales, comme le prévoient les statuts mutualistes du groupe.

Les années 2003 à 2005 ont été marqués par l'absorption et l'intégration du Crédit Lyonnais — rebaptisé LCL — dans le groupe bancaire. Cette intégration a couté au total 1,3 milliards d'euros et dès 2005 a permis de réaliser 663 millions de gains en synergie.

En 2006, le Crédit agricole rachète 100% de la quatrième banque grecque, Emporiki pour 3,3 milliards d'euros.