Google piensa que la IA también revolucionará el mundo de la computación

El auge de la Inteligencia Artificial (IA) y el aprendizaje automático podría estar cambiando la naturaleza misma de la computación, o eso piensa uno de los mayores practicantes de la IA, Google.

Cliff Young, ingeniero de software de Google, dio el discurso de apertura el jueves por la mañana en la Conferencia de Procesadores de Otoño del Grupo Linley, un simposio de chips de computadora popular organizado por la venerable firma de análisis de semiconductores The Linley Group, en Santa Clara, California.

De acuerdo a Young el uso de la inteligencia artificial ha llegado a una “fase exponencial” en el mismo momento en que la Ley de Moore, la regla de oro de décadas sobre el progreso de los semiconductores, se ha paralizado.

Es relevante destacar que la ley de Moore es un término informático originado en la década de 1960 y que establece que la velocidad del procesador o el poder de procesamiento total de las computadoras se duplica cada doce meses.

“Los tiempos son ligeramente neuróticos“, reflexionó. “El CMOS digital se está desacelerando, se puede observar en los problemas de Intel en la producción de chips de 10 nanómetros y lo vemos en GlobalFoundries saliendo de 7 nanómetros. Al mismo tiempo que está ocurriendo todo este tema del aprendizaje profundo, hay cambios económicos en la demanda”

A medida que los chips convencionales luchan por lograr un mayor rendimiento y eficiencia, la demanda de los investigadores de IA está aumentando, señaló Young.

Además mencionó algunas estadísticas: la cantidad de artículos académicos sobre aprendizaje automático que figuran en el servidor de preimpresión arXiv, mantenido por la Universidad de Cornell, se está duplicando cada 18 meses. Además de añadir que la cantidad de proyectos internos centrados en la inteligencia artificial en Google también se está duplicando cada 18 meses. Aún más intenso, el número de operaciones aritméticas de punto flotante necesarias para llevar a cabo redes neuronales de aprendizaje automático se duplica cada tres meses y medio.

Todo ese crecimiento en la demanda de computación se suma a la “Ley de Super Moore“, dijo Young, un fenómeno que calificó de “aterrador, peligroso y algo de qué preocuparse”.

No obstante es válido preguntarse cuál es la razón detrás del crecimiento exponencial de la tecnología. A lo que Young explicó “se debe en parte, porque el aprendizaje profundo simplemente funciona”, dijo. “Durante mucho tiempo, pasé mi carrera haciendo caso omiso del aprendizaje automático. No sabía en aquél entonces que esta tecnología iba a despegar”.

Sin embargo con el tiempo Young empezó a observar como los avances en temas como el reconocimiento de imágenes comenzaron a producirse rápidamente y se hizo evidente que el aprendizaje profundo es “increíblemente efectivo”.

“Hemos sido la primera empresa de inteligencia artificial durante la mayor parte de los últimos cinco años”, dijo, “reconstruimos la mayoría de nuestros negocios basados en la tecnología, desde la búsqueda hasta los anuncios y muchos más”.

La demanda del equipo de Google Brain que lidera la investigación sobre la IA es para “máquinas gigantescas”, dijo Young. Por ejemplo, las redes neuronales a veces se miden por el número de “pesos” que emplean, variables que se aplican a la red neuronal para dar forma a la manipulación de los datos.

Mientras que las redes neuronales convencionales pueden tener cientos de miles de pesos de este tipo que deben computarse, o incluso millones, los científicos de Google dicen “danos una máquina de peso tera”, computadoras capaces de calcular un billón de pesos. Esto se debe a que “cada vez que se duplica el tamaño de la red neuronal, obtenemos una mejora en la precisión“.

Para responder, por supuesto, Google ha estado desarrollando su propia línea de chips de aprendizaje automático, la “Unidad de Procesamiento de Tensor”. El TPU, y partes similares, se necesitan porque las CPU y los chips de gráficos (GPU) tradicionales no pueden mantenerse al día.

Cliff Young

“Durante mucho tiempo, nos contuvimos y dijimos que Intel y Nvidia son realmente excelentes en la construcción de sistemas de alto rendimiento”, dijo Young. “Sin embargo, cruzamos ese umbral hace cinco años”.

Evidentemente el TPU causó una conmoción cuando se presentó por primera vez en 2017, con un rendimiento superior al de los chips convencionales. Google está ahora en su tercera versión del TPU, que utiliza internamente y también ofrece un nodo de cómputo a pedido a través de Google Cloud.

La compañía continúa haciendo instancias cada vez más grandes del TPU. La configuración de su “pod” une 1.024 TPU individuales en un nuevo tipo de supercomputadora, y Google pretende “continuar escalando” el sistema.

Estamos construyendo estas gigantescas computadoras múltiples, con decenas de petabytes de computación”, dijo. “Estamos presionando sin descanso en una serie de direcciones de progreso, las tera-ops siguen subiendo”.

Dicha ingeniería “trae todos los problemas que surgen en el diseño de supercomputadoras”, expresó el ingeniero de Google.

Por ejemplo, los ingenieros de Google han adoptado trucos utilizados por el legendario equipo de supercomputación Cray. Combinaron una “unidad de multiplicación de matriz gigantesca”, la parte del chip que hace la peor parte del trabajo para la computación de redes neuronales, con una “unidad vectorial de propósito general” y una “unidad escalar de propósito general”, como en el Cray. “La combinación de escalador y unidades vectoriales permiten a Cray superar a todo lo demás”, observó.

Google ha desarrollado sus propias construcciones aritméticas novedosas para programar los chips. De hecho un producto llamado “bfloat16” es una forma de representar números reales que proporciona mayor eficiencia en el procesamiento de números en redes neuronales. Se conoce coloquialmente como el “flotador cerebral”.

Es relevante destacar que el TPU se basa en los chips de memoria más rápidos, la llamada memoria de alto ancho de banda o HBM. No es misterio para nadie la creciente necesidad de capacidad de memoria para entrenar redes neuronales.

“La memoria es mucho más intensiva en el entrenamiento”, dijo. “La gente habla de cientos de millones de pesos, pero también es un problema de manejar las variables de activación” de una red neuronal.

Por lo que Google también está ajustando la forma en que programa las redes neuronales para aprovechar al máximo el hardware. “Estamos trabajando mucho en el paralelismo de datos y modelos”, con proyectos como “Mesh TensorFlow”, una adaptación del marco de programación de TensorFlow de la compañía que “combina datos y paralelismo de modelos a escala de pod”.

Sin embargo Young evitó revelar ciertos detalles técnicos en su discurso. Señaló que la compañía no ha hablado mucho sobre las “interconexiones”, la forma en que se mueven los datos alrededor del chip, excepto que “tenemos conectores gigantescos”. 

La entrada Google piensa que la IA también revolucionará el mundo de la computación se publicó primero en Bitcoin.es tu portal de información de criptomonedas.

La entrada Google piensa que la IA también revolucionará el mundo de la computación aparece primero en Que es Bitcoin.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *