O artista nasceu em Brownsville, Texas, em 22 de junho de 1936 e mudava-se com frequência porque seu pai era General da Força Aérea. Depois de se formar no Pomona College, na Califórnia, onde jogou futebol e rúgbi, Chris Tofferson frequentou a Universidade de Oxford com uma bolsa de estudos em Rhodes e depois cumpriu a tradição familiar ao ingressar no exército.