Hijo de don Vicente Garay y de doña Constancia Argaña, nació en Asunción el 16 de noviembre de 1874. Al morir su padre la familia se radicó en Pirayu, donde realizó sus estudios primarios. Junto con su hermano Blas Manuel, se trasladó a Asunción e ingresó al Colegio Nacional. En su juventud Garay se había consagrado como periodista, pero su vocación era ser militar. Después de haber solicitado su incorporación al ejército y por su condición de aventajado alumno del Colegio Nacional, el 19 de febrero de 1897, fue becado por el gobierno a Chile, para realizar estudios en la Escuela Militar del Libertador Bernardo O’Higgins donde se recibió como el mejor egresado de su promoción. Esta circunstancia le dio derecho a elegir la unidad militar en la cual quería proseguir su formación. De esa manera ingresó al RI-1 “Buín”, la unidad militar de mayor prestigio de Chile, donde alcanzó el grado de teniente primero, el 11 de noviembre de 1900. Por esta razón integraba el grupo de «los chilenos» como los llamaban en el Paraguay a los militares que habían hecho estudios en aquel país.
De regreso al Paraguay fue incorporado al ejército nacional con el grado de capitán el 5 de junio de 1902. Su primer destino fue el Regimiento de Infantería N.º 1, con guarnición en Asunción
En septiembre de 1908 fue enviado en misión diplomática ante los gobiernos de Alemania, Francia y Gran Bretaña Europa, donde permaneció tres años, hasta el 27 de noviembre de 1910, fecha en que regresó al país. Fue nombrado miembro del Consejo adscrito al Ministerio de Guerra y Marina, con funciones de Estado Mayor.
El 1.º de marzo de 1912 fue nombrado Ministro Secretario de Estado en el Departamento de Guerra y Marina, puesto que conservó solo por 27 días, pues, debido la revolución del 27 de marzo de 1912, se disolvió el ejército del gobierno depuesto y Garay fue dado de baja.