El edificio, declarado Monumento Nacional en 1981, es una construcción de adobe, de dos pisos, de estilo ecléctico; única construcción civil del siglo XIX, existente en el espacio inmediato a la Plaza de Armas.

Entre los años 1927 y 1973 fue propiedad del Ex Presidente de Chile e Hijo Ilustre de La Serena, Gabriel González Videla (1946-1952). En 1977, el inmueble fue adquirido por el Estado de Chile.

Por un convenio, que aúna voluntades culturales, la Dirección de Bibliotecas, Archivos y Museos y la I. Municipalidad de La Serena, se funda este Museo de Historia y de Arte, el 26 de Agosto de 1984 con el propósito de rendir un homenaje permanente al Mandatario y exhibir los temas de su especialidad.