Actas JP2011 - Universidad de La Laguna

Actas XXII Jornadas de Paralelismo (JP2011) , La Laguna, Tenerife, 7-9 septiembre 2011siguiente, que está en el mismo segmento de transacción.También se utiliza una variante del benchmark anteriordenominado accesos aleatorios. Cada hilo calculaun par de valores aleatorios, los cuales sirvenpara determinar la posición a la que se accede enuna matriz. Al igual que el benchmark anterior elespacio de hilos tiene tantos elementos como la matriz.Cada hilo realiza alrededor de 20 operacionesaritméticas para el cálculo de los índices aleatorios.VI. Resultados experimentalesEn esta sección presentamos los resultados obtenidospor nuestros benchmarks, estudiando su relacióncon los detalles de la arquitectura Fermi comentadosen secciones previas.A. Acceso coalescenteA.1 Kernels pequeños sin reutilización de datosEn la tabla I se muestran los tiempos de ejecuciónde la reducción de vectores. Por el tamaño de datosde entrada escogido, el número de hilos por bloquetiene que ser como mínimo de 32. La implementaciónde la reducción presenta un patrón coalescente, dondeno existe reutilización de datos entre hilos y cadahilo apenas tiene carga computacional, únicamentepara calcular las posiciones de trabajo en el vector.La tabla I confirma el resultado general predicho enla sección III: el mejor tamaño de bloque es el menorque maximiza la ocupación, es decir 192.La tabla II muestra los tiempos de ejecución parala suma de matrices con las diferentes geometríasconsideradas. Los resultados correspondientes a bloquesde hilos que maximizan la ocupación de los SMsestán resaltados en negrita. Los resultados son similaresal caso anterior, obteniendo el mejor tamañode bloque en 192 hilos. El tiempo de ejecución crecerápidamente al reducir el número de columnas pordebajo de 32 y no aprovecharse el efecto de coalescencia.No se reflejan en la tabla bloques con menosde 8 columnas por problemas de espacio. Siguen latendencia esperada.Los experimentos realizados desactivando lacaché L1 no muestran un impacto significativo sobrelos resultados. Se reduce la cantidad de datos porsegmento a cambio de aumentar proporcionalmenteel número de éstos.A.2 Reutilización intensiva de datosEn la tabla III se muestran los resultados para lamultiplicación de matrices. Con menos de 32 columnasde hilos, el tiempo de ejecución aumenta rápidamenteya que el patrón de acceso ya no es coalescenteen la primera matriz (se omiten dichos resultados enla tabla). Debido a la reutilización de los datos de lasdos matrices de entrada, bloques más grandes tienenmás posibilidades de reutilizar las mismas líneas decaché. Los mejores resultados se obtienen con 768 hilos,los bloques más grandes que maximizan la ocupación.Respecto a la geometría, para bloques de hilos conel mismo tamaño los mejores resultados se obtienenreduciendo el número de filas aumentando correspondientementeel número de columnas. Esta tendenciase mantiene hasta geometrías de una fila donde lostiempos vuelven a incrementarse debido a que en estealgoritmo domina la pérdida completa la reutilizaciónde los datos de la segunda matriz de entrada.B. Accesos no coalescentesLa tabla IV muestra los tiempos de ejecución paraeste benchmark. Es un kernel sin un patrón de memoriacoalescente y con muy poca carga de computacionalpor hilo. Como se discutió en la sección III-A.3 este tipo de códigos funcionan mejor por debajode máxima ocupación. Esto es debido a que: (1) laslatencias producidas por la gran cantidad de segmentossolicitados no se pueden ocultar con el máximonúmero de warps por SM, es decir, 48 y (2) reduciendoel número de warps por SM se decrementael número total de segmentos solicitados simultáneamente,aliviando el cuello de botella que serializa losaccesos a memoria global.Por último en la tabla V se observan los resultadosobtenidos para el código con accesos aleatorios.Este algoritmo utiliza demasiados recursos por SM,por lo que bloques de 1024 hilos llevan a una ocupaciónnula, marcados con asteriscos en la tabla. Esteprograma tiene una carga media en cuanto a operacionesaritméticas por acceso a memoria se refiere.Las latencias de los accesos se balancean con el tiempode cómputo en otros warps. Por tanto, los mejoresresultados vuelven a obtenerse con los bloques máspequeños de máxima ocupación (192 hilos). Al nohaber coalescencia, los resultados dependen exclusivamentedel tamaño de bloque, no de su geometría.La desactivación de la caché L1 reduce el tamañode los segmentos de transacción a una cuarta parte.Por tanto, en patrones dispersos o aleatorios dondeapenas exista reutilización de segmentos, un menortamaño de estos disminuye el tráfico de datos entrelas distintas memorias y alivia los cuellos de botella.En el caso de accesos dispersos regulares se consigueuna mejora de rendimiento de entre 20-40 % para diferentestamaños de bloques. Para los accesos aleatorios,la mejora no es significativa ya que la alta cargacomputacional en los warps se solapa con los tiemposde trasferencia.VII. Trabajo relacionadoLa estrategia más común a la hora de implementarun código CUDA es seleccionar bloques de hiloscuyos tamaños consigan maximizar la ocupación delos SMs. El objetivo de maximizar la ocupación esreducir las latencias en los accesos a memoria global[1]. Este trabajo sigue la tendencia habitual deseleccionar bloques cuadrados cuyas cardinalidadesson potencias de dos con el objetivo de facilitar laimplementación de los códigos. El impacto de geometríasno cuadradas, así como las cardinalidades delas dimensiones correspondientes a potencias de tres,JP2011-684