Nació en Loja el 19 de mayo de 1784. Sus padres fueron: Fernando Valdivieso y Francisca Valdivieso. Los estudios, en su mayoría los cumplió en la ciudad capital obteniendo el título de Abogado.
Desde muy temprana edad, ejerció la profesión y se desenvolvió en la ciudad natal como Alcalde, Consejero de Estado en tiempo de la Gran Colombia, Ministro del General Juan José Flores y Diputado por Loja. José Félix, fue un hombre de muy bueno y cultivado entendimiento, de índole y costumbres suaves, conocedor de los negocios de Gobierno y de la gran influencia de la Patria, según historiadores. En 1841, fue designado Ministro Plenipotenciario del Ecuador, para arreglo de las fronteras con el Perú; Presidente de la Comisión Permanente del Gobierno y en 1845, fecha en la que se produjo la revolución que derrocó al Gobierno del General Flores. Murió en el año de 1852.