So far people have recommended I read Bartolome De Las Casas' book.
Bartolomé de las Casas is an interesting read, but there are plenty more sources:
Fernández de Oviedo, Gonzalo, Sumario de la Natural Historia de las Indias.
Fernández de Oviedo, Gonzalo, Historia General y Natural de las Indias.
Cortés, Hernán, Cartas de relación.
Díaz del Castillo, Bernal, Historia verdadera de la conquista de la Nueva España.
Núñez Cabeza de Vaca, Alvar, Naufragios y comentarios
Cieza de León, Pedro, Crónica del Perú
Cieza de León, Pedro, Guerras civiles del Perú
Columbus, Christopher, Libro copiador.
Columbus, Christopher, Diario de la primera navegación (copied in Bartolomé de las Casas' Historia de las Indias).
You can also find plenty of primary sources compiled in Martín Fernández de Navarrete's monumental work Colección de Viages y Descubrimientos, and the CoDoDes (Colección Documental del Descubrimiento)