Depois de encontrar o grupo que viajava no barco comandado pelos capitães Andrés Dorantes e Alonso del Castillo, Cabeza de Vaca  deve ter imaginado que tinham acabado seus problemas. Mas ele não conseguiu acompanhar o grupo em sua tentativa de alcançar Pánuco, o posto avançado da Espanha na região. Doente, permaneceu junto à uma tribo de índios e tornou-se escravo dos nativos:

Permaneci ali por mais de um ano, passando muito trabalho, pois davam a mim uma das tarefas mais difíceis, que era a de extrair as raízes do fundo da água ou do meio das canas. Fiquei com as mãos tão arrebentadas que o toque de uma palha já me fazia correr sangue. Diante desta situação decidi fugir deles e ir para uns montes da terra firme, onde havia outros índios, que se chamavam charruco.

Álvar Núñez deixou a condição de escravo para se tornar comerciante, como se verá adiante, mas permaneceu na mesma região. Durante anos, tentou convencer o último remanescente de seu grupo a deixar a ilha onde viviam, sem sucesso. Lope de Oviedo não sabia nadar e tinha medo da viagem. Enfim, na primavera de 1533, Oviedo admitiu ser rebocado por rios e lagos. A dupla deixou a ilha e acabou descobrindo o paradeiro de Andrés Dorantes e Alonso del Castillo. O primeiro era escravo dos mariames, o segundo (com seu escravo Estebanico) servia aos iguases. Cabeza de Vaca resolveu se juntar a eles, mas Oviedo deu meia volta e jamais foi visto novamente.

As duas tribos acabaram se juntando temporariamente, mas os quatro não se livraram da condição de escravos. Faziam o trabalho duro e ainda tinham de manter acesas as fogueiras feitas com lenha molhada com que os índios tentavam afastar os mosquitos, que atacavam sem dó nem piedade os corpos nus e desprotegidos. E quando os espanhóis resolviam descansar ou se refrescar na brisa da praia, levavam pauladas.

Assim viveram seis meses. Quando chegou a estação das tunas, momento propício para a fuga, mariames e iguases brigaram, separando os quatro. Tiveram de esperar mais um ano por novo encontro. Um período duro para Cabeza de Vaca _ desesperado, por três vezes ele tentou fugir sozinho, sendo sempre recapturado pelos índios.

Em meados de setembro de 1534, no final de outra estação de tunas e após várias peripécias, os quatro conseguiram se reunir e, finalmente, fugir em busca dos avavares.