Actas JP2011 - Universidad de La Laguna

Actas XXII Jornadas de Paralelismo (JP2011) , La Laguna, Tenerife, 7-9 septiembre 2011Shared MemoryL2 CacheDRAML1 Cache48 or 16 Kb 16 or 48 KbP0 P1 P2 P3 P4 P5256 bytesThread384 bits768 Kb1.5 GbFig. 1. Jerarquía de memoria Fermi (NVidia GTX-480).de transacción de memoria eran de 32, 64 y 128 Bytes.Sin embargo, en Fermi son de 128 ó 32 Bytes,dependiendo de si la caché L1 está activa.B. Bloque de hilos, Warps y SMsFermi dobla el número de registros por SM (32KB). El número de procesadores (SPs) por SM hasido multiplicado por cuatro (32 SPs). En Fermi elnúmero máximo de hilos por bloque es 1024, mientrasque el máximo número de hilos concurrentes enun SM es 1536.C. Conflictos en memoria globalActualmente en Fermi la memoria global de estosdispositivos está distribuida en 5 ó 6 bancos con suscorrespondientes controladores independientes. Unproblema frecuente a la hora de implementar códigosparalelos sobre arquitecturas pre-Fermi era el partitioncamping [5]. Este problema surge cuando hilosconcurrentes activos en cualquier SM solicitan segmentosde memoria diferentes pertenecientes al mismobanco de memoria global. Ello implica una serializaciónde dichas transacciones. Con la introducciónde las cachés L1 y L2 en Fermi, este problema se aliviócuando los mismos segmentos de transacción sesolicitan una y otra vez.III. selección del tamaño y la geometríadel bloque de hilosEn esta sección discutimos cómo los detalles dela arquitectura Fermi afectan a las decisiones de losprogramadores respecto al tamaño y geometría delos bloques de hilos, así como a la configuración dela memoria caché L1.A. Tamaño de bloque de hilosA.1 Maximizar ocupaciónEn CUDA el factor ocupación de un SM es el ratioentre el número de warps presentes en el mismo yel número máximo de warps soportados por un SM(48 warps en Fermi). Maximizar la ocupación es importantepara ocultar las latencias en los accesos amemoria global.Para obtener máxima ocupación es necesario seleccionarun tamaño de bloque de hilos apropiado.La arquitectura Fermi soporta 1024 hilos por bloque,1536 hilos por SM y un máximo de 8 bloquesresidiendo simultáneamente en un SM. Por lo tanto,el tamaño de bloques de hilos debe ser inferior o iguala 1024, a la vez divisor entero de 1536 y el máximonúmero de hilos del SM dividido entre el tamaño delbloque no puede exceder de 8. Por ello concluimosque los únicos tamaños de bloques de hilos que maximizanla ocupación son 192, 256, 384, 512 y 768.Finalmente, cuando se va a lanzar un kernel quenecesita menos de 192 hilos por el número de SMsen el dispositivo, puede ser recomendable escoger tamañosde bloques más pequeños, que no consiganmaximizar la ocupación. De esta forma, se aumentael número de bloques y se distribuyen mejor el conjuntode hilos entre los SMs, aumentando el grado deparalelismo global.A.2 La coalescencia y la carga de accesos a memoriaLa coalescencia es una técnica de implementaciónpara conseguir que hilos consecutivos de un warp,cuando solicitan memoria global, pidan direccioneslógicas contiguas. Esta técnica permite minimizar elnúmero de segmentos de transacción solicitados a lamemoria global. La coalescencia es especialmente importanteen aquellos códigos donde existe un alto ratiode accesos a memoria.Una técnica común para facilitar la programaciónde la coalescencia es utilizar estructuras de datosalineadas con el número de hilos por warp y el tamañode los segmentos de transacción. Para reducirlas probabilidades de la aparición de partition camping,es también aconsejable usar estructuras de datosque estén perfectamente alineadas con el númerode controladores de memoria global del dispositivoGPU. Por ejemplo, facilita la programación el escogerarrays de enteros o floats cuya última dimensiónes múltiplo de 32 y a la vez del número de bancos.Para kernels de CUDA donde prevalezca el patrónde acceso coalescente y un alto ratio de accesos a memoria(uno o más accesos a memoria por operaciónaritmética), consideramos que utilizando bloques de192 hilos se obtendrán los mejores resultados por dosmotivos: (1) se maximiza la ocupación, (2) se consigueel mayor número de bloques concurrentes porSM (8). De esta forma, cuando los warps de un bloquevan terminando este se desaloja lo antes posiblepor tener un menor número de warps. Por tanto, lacantidad de warps que están activos en el SM se mantieneen el máximo (48) la mayor cantidad de tiempoposible dando más oportunidades a la ocultación delas latencias.Kernels de programas como la multiplicación dematrices, a pesar de su coalescencia, presentan característicasdiferentes. Tienen mucha carga computacionalpor hilo y reutilizan datos en segmentos dememoria requeridos previamente. En este caso se esperaque aumentar el tamaño de bloque hasta 768 hilos(mayor tamaño de bloque que maximiza la ocupa-JP2011-682