La institución, que conmemora su 125 aniversario, ha tenido un total de cuatro sedes previas a la actual. Estas ubicaciones históricas incluyen las calles Veedor, San Miguel, Benjumeda y Cervantes. Desde junio de 2024, el Colegio de Médicos opera desde el moderno edificio Glorieta.

La obligatoriedad de la colegiación médica en España se estableció mediante un Real Decreto el 12 de abril de 1898, impulsando la creación de Colegios Profesionales en todo el país. El objetivo era garantizar la competencia y la ética de los profesionales de la medicina ante la población. Sin embargo, en sus inicios, muchos médicos, incluidos los de la provincia de Cádiz, mostraron resistencia a esta formalización institucional.

Órdenes posteriores, como las de junio y noviembre de 1900, insistieron en la necesidad de crear los Colegios de Médicos y detallaron sus estatutos. En noviembre de 1900, el Boletín Oficial de la Provincia de Cádiz publicó la lista de los 214 médicos convocados a elecciones. En febrero de 1901, el Gobernador Civil nombró una Junta Directiva Interina, presidida por el Dr. Cayetano del Toro, encargada de la creación del Colegio y la convocatoria electoral.

Las primeras elecciones se celebraron entre el 1 y el 4 de marzo de 1901. La primera Junta Directiva tomó posesión el 15 de marzo de 1901 en la calle Veedor número 7, sede de la Real Academia de Medicina. El Dr. Cayetano del Toro ofreció su domicilio como primera sede del Colegio y el periódico ‘Anales Médicos Gaditanos’ se convirtió en su primera publicación.

En noviembre de 1919, bajo el liderazgo del Dr. Bartolomé Gómez Plana, se buscó un local propio y una publicación diferenciada. El 16 de diciembre de 1936, el Gobierno "Nacional" disolvió la Junta Directiva electa e impuso una "Gestora" presidida por el Dr. Victoriano Lenzano Meirás. Esta gestora inauguró una nueva sede en la calle San Miguel número 7 el 16 de mayo de 1937.

La sede de la calle San Miguel fue un centro de gran actividad cultural, acogiendo conferencias de personalidades como Gregorio Marañón, Carlos Jiménez Díaz, José María Pemán y el premio Nobel Jacinto Benavente. El Colegio permaneció allí hasta 1961, cuando se inauguró la sede en la calle Benjumeda 7, que incluía un salón de actos y una residencia para médicos y estudiantes.

En 2001, coincidiendo con el centenario, se amplió la sede adquiriendo la casa del Dr. Portela, con acceso por la calle Cervantes. Finalmente, en junio de 2024, el Colegio se trasladó a su actual sede en el edificio Glorieta, una instalación moderna, accesible y ecorresponsable. Además de la sede central, el Colegio cuenta con delegaciones ampliadas y mejoradas en el Campo de Gibraltar y Jerez.