As origens da Casa de Velázquez remontam ao início do século XX. Em 1909, abriu em Madrid uma Escola de Altos Estudos Hispânicos, criada pela Universidade de Bordéus, destinada a acolher jovens investigadores franceses. Durante a Primeira Guerra Mundial, outros projectos foram revelados. O governo francês mobilizou intelectuais e artistas de renome ao serviço de uma estratégia de aproximação a Espanha. Em Maio de 1916, foi organizada uma viagem de académicos franceses. Nesta missão participaram, entre outros: Étienne Lamy, Secretário Perpétuo da Academia Francesa, Henri Bergson, que tinha acabado de entrar nesta ilustre companhia e Charles-Marie Widor, Secretário Perpétuo da Academia das Artes. Este último expressou o desejo, durante uma conferência no círculo político e literário do Ateneu, de que os artistas franceses pudessem completar a sua formação em Espanha.

Ao finalizar a campanha levada a cabo por Pierre Paris, Director da Esculea de Altos Estúdios Hispânicos e Aqueológicos, apaixonado por Espanha, com o apoio de Charles-Marie Widor, o Rei Alfonso XIII escolheu pessoalmente o que mais tarde se ira converter na Cidade Universitária de Madrid, um terreno de 20.000 m2 que seria cedido a França em usufruto, através de uma lei de 1920, na condição de que aí fosse construída uma residência para jovens artistas e jovens investigadores. O palácio receberia o nome de casa de Velázquez porque, segundo a lenda, esse local, de frente para a Serra de Guadarrama, era o local preferido pelo pintor para instalar o seu cavalete.

Os primeiros edifícios foram inaugurados em 1928 e o conjunto foi terminado em 1935. Na primeira linha, durante a batalha de Madrid (Novembro de 1936) na Guerra Civil Espanhola, A Casa de Velázquez foi incendiada e parcialmente destruída. Os artistas e investigadores instalaram-se primeiro em Marrocos, em Fez e depois a partir de 1940 novamente em Madrid, num palacete da Calle Serrano. Em 1959, no final dos quatro anos de reconstrução, a construção reintegrou a localização original. Em 1961, passou a estar sob a tutela do ministério da educação Nacional. A época gloriosa dos pioneiros chegava ao fim. Começava então um longo período de consolidação administrativa e de diversificação dos campos artísticos e científicos. Em 2009, o estabelecimento acaba de comemorar os seus oitenta anos. O edifício principal – cujas estruturas datam de há meio século – vai ser objecto de importantes obras de restauro e de reabilitação imobiliária com a finalidade de modernizar o seu funcionamento mantendo-se fiel à sua história.

Desde a sua fundação, a casa de Velázquez foi dirigida por Pierre Paris, François Dumas, Maurice Legendre, Henri Terrasse, François Chevalier, Didier Ozanam, Joseph Pérez, Jean Canavaggio, Gérard Chastagnaret, Jean-Pierre Étienvre e Michel Bertrand. Em janeiro de 2022, Nancy Berthier, professora de artes visuais na Sorbonne, tornou-se a primeira mulher a assumir o cargo de directora da instituição.