Hijo de don Vicente Garay y de doña Constancia Argaña, nació en Asunción el 16 de noviembre de 1874 y falleció un 17 de abril de 1937 a los 62 años.En su juventud Garay se había consagrado como periodista, pero su vocación era ser militar.
Después de haber solicitado su incorporación al ejército y por su condición de aventajado alumno del Colegio Nacional, el 19 de febrero de 1897, fue becado por el Gobierno a Chile, para realizar estudios en la Escuela Militar del Libertador Bernardo O’Higgins donde se recibió como el mejor egresado de su promoción. Esta circunstancia le dio derecho a elegir la unidad militar en la cual quería proseguir su formación.
De regreso al Paraguay fue incorporado al ejército nacional con el grado de capitán el 5 de junio de 1902. Su primer destino fue el Regimiento de Infantería Nº 1, con guarnición en Asunción. En septiembre de 1908 fue enviado en misión diplomática ante los gobiernos de Alemania, Francia y Gran Bretaña Europa, donde permaneció tres años, hasta el 27 de noviembre de 1910, fecha en que regresó al país.
El 1º de marzo de 1912 fue nombrado Ministro Secretario de Estado en el Departamento de Guerra y Marina, puesto que conservó solo por 27 días, pues, debido la revolución del 27 de marzo de 1912, se disolvió el ejército del gobierno depuesto y Garay fue dado de baja.
En la movilización general del año 1928, con motivo de los sucesos del fortín Vanguardia, se presentó como voluntario ante el Ministerio de Guerra y Marina pero no fue aceptado porque tenía más edad de la exigida por la movilización. Sin embargo, cuatro años después, en plena guerra y para enfrentar la gran ofensiva boliviana a cargo del General Hans Kundt, el 25 de febrero de 1933, fue nombrado en el RI-16 “Mariscal López”, donde comienza su actuación en la guerra del Chaco. Tenía 57 años.
Tuvo destacadas participaciones en varias Batalla durante la Guerra del Chaco, pero la que más distinguió fue en la batalla de “El Carmen”, en donde sobresalió su capacidad de estratega con una genial concepción, precisa conducción, agresiva ejecución, paciente espera del momento decisivo, conjugados con la abnegación, sacrificio, espíritu de lucha y férrea voluntad de vencer. Por lo mismo la recta y enérgica conducta del Gral. E. A. Garay, el liderazgo en la conducción de la invicta 8ª DI en El Carmen y la decisiva marcha, al límite del sacrificio más heroico en la conquista de los pozos de Yrendagué, lo califican con justicia para ser el Padre y Gloria de la Inmortal Infantería Paraguaya.
El 1º de Mayo de 1947 se le otorgó el ascenso póstumo a General de Brigada en mérito a los servicios prestados durante la Guerra del Chaco.