29/08/2012

UTEM

ASIGNATURA COMPUTACIN PARALELA

Departamento de Computacin e Informtica Facultad de Ingeniera 2012

Oscar Magna V.
Civil Engineering on Computer Science & MBA Dr (c) in Business Management and Administration Technological Metropolitan University Santiago of Chile omagna@utem.cl, osemav@gmail.com http://omagna.tripod.com (56-2) 787.7211 C H I L E.

UTEM

COMPUTACIN PARALELA
INF - 5141

INGENIERA CIVIL EN COMPUTACIN Mencin Informtica

UNIVERSIDAD TECNOLGICA METROPOLITANA
Oscar E. Magna V. Ingeniero Civil en Informtica & MBA Dr (c ) en Administracin y Direccin de Empresas omagna@utem.cl http:// omagna.tripod.com

2012-II
OMV - INF 5141 COMPUTACION PARALELA -2-

Slide-2.2

29/08/2012

UTEM

PLATAFORMAS PARALELAS
TOPOLOGAS Y ARQUITECTURAS

OMV - INF 5141

COMPUTACION PARALELA

-3-

TOPOLOGAS Y ARQUITECTURAS UTEM Elementos de un computador paralelo

Hardware: Mltiples procesadores Mltiples memorias Redes de interconexin Software: Sistemas Operativos paralelos Programas orientados a concurrencia Objetivo: Utilizar estos elementos para Mejorar el Speed-up: Tp = Ts / p Abordar problemas con alta demanda de memoria

OMV - INF 5141

COMPUTACION PARALELA

-4-

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Plataformas para procesamiento paralelo

Organizacin lgica: Visin que tiene el usuario de la mquina, desde el punto de vista del software del sistema. Organizacin fsica: La arquitectura hardware real. La Arquitectura fsica es, hasta cierto punto, independiente de la arquitectura lgica.

OMV - INF 5141

COMPUTACION PARALELA

-5-

TOPOLOGAS Y ARQUITECTURAS UTEM Elementos de la organizacin lgica

If (C == 0 ) C <= A else C <= A / B;

OMV - INF 5141

COMPUTACION PARALELA

-6-

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Elementos de la organizacin lgica

Dos alternativas diferenciadas: Plataformas de paso de mensajes. Plataformas con espacio de memoria compartida.

OMV - INF 5141

COMPUTACION PARALELA

-7-

TOPOLOGAS Y ARQUITECTURAS UTEM Paso de mensajes

Paso de mensajes: Cada procesador tiene un espacio de memoria propio e independiente. La comunicacin se produce a travs de mensajes entre el procesador emisor y el receptor. Operaciones bsicas: send y receive. Estndares: MPI, PVM. Ejemplos: IBM SP, SGI Origin 2000, clusters de estaciones de trabajo.

OMV - INF 5141

COMPUTACION PARALELA

-8-

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Espacio de memoria compartida

Espacio de memoria compartida UMA: Acceso a memoria uniforme. NUMA: Acceso a memoria no uniforme. ccNUMA: Acceso a memoria no uniforme con coherencia de cache.

OMV - INF 5141

COMPUTACION PARALELA

-9-

TOPOLOGAS Y ARQUITECTURAS UTEM Problema de coherencia de cache

Problema de coherencia de cache en los sistemas de memoria compartida: Se debe mantener la coherencia en mltiples copias de los mismos datos. Imprescindible para mantener la semntica de los programas. Protocolos para respetar la coherencia de cache: Invalidacin Actualizacin.

OMV - INF 5141

COMPUTACION PARALELA

- 10 -

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Problema de coherencia de cache

OMV - INF 5141

COMPUTACION PARALELA

- 11 -

TOPOLOGAS Y ARQUITECTURAS UTEM Protocolos de Invalidacin / Actualizacin

El protocolo ptimo depende de las caractersticas de cada aplicacin: Frecuencia de operaciones de lectura / escritura. Problemas con comparticin falsa: Lneas de cache comunes actualizadas en palabras distintas. Equilibrio entre costes de comunicacin (actualizacin) y ciclos de espera (invalidacin). Los esquemas actuales se basan en el protocolo de invalidacin.

OMV - INF 5141

COMPUTACION PARALELA

- 12 -

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Invalidacin: Coherencia de datos

Compartido: Dato que est presente en la memoria cache de ms de un procesador, pero que an no ha sido modificado. No-vlido: Dato en la memoria cache de un procesador, que ha sido modificado por otro. Sucio: Dato en la memoria cache de un procesador que lo ha modificado. Toda referencia a este dato ser servida por este procesador, y no por la memoria principal.

OMV - INF 5141

COMPUTACION PARALELA

- 13 -

TOPOLOGAS Y ARQUITECTURAS UTEM Coherencia de datos: Protocolo snoopy

Orientado al uso de bus comn. Cada procesador mantiene la informacin de datos compartidos / no-vlidos / sucios. Se realiza una escucha activa del bus, y cuando se detecta una escritura sobre un dato compartido, se actualiza su estado. Problema: Genera mucho trfico en el bus, ya que cada escritura hay que declararla.

OMV - INF 5141

COMPUTACION PARALELA

- 14 -

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Coherencia de datos: Basado en directorio

La memoria global es la que mantiene actualizada la informacin de datos compartidos / no-vlidos / sucios. Mantiene una lista de todos los procesadores que comparten un cierto dato. Cuando un procesador modifica un dato, lo comunica a la memoria principal, y esta a los procesadores que lo comparten. Problema: La memoria principal se convierte en cuello de botella.

OMV - INF 5141

COMPUTACION PARALELA

- 15 -

TOPOLOGAS Y ARQUITECTURAS UTEM Organizacin fsica

Arquitectura paralela ideal: PRAM (Parallel Random Access Machine). Modelos de PRAM: EREW/ERCW/CREW/CRCW (Exclusivo/Concurrente Lectura/Escritura) Resolucin de escritura concurrente: Comn, Arbitrario, Prioridad y Suma.

OMV - INF 5141

COMPUTACION PARALELA

- 16 -

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Organizacin fsica

Redes de interconexin (RICs): Proporcionar conexin entre los distintos procesadores y memorias del sistemas. Tipo de redes Esttica: Enlaces punto a punto Histricamente usada para conectar procesadores (memoria distribuida) Dinmica: Formada por elementos de conmutacin Histricamente usada para conectar procesadores con memorias (memoria compartida)

OMV - INF 5141

COMPUTACION PARALELA

- 17 -

TOPOLOGAS Y ARQUITECTURAS UTEM RICs estticas y dinmicas

Esttica
OMV - INF 5141 COMPUTACION PARALELA

Dinmica
- 18 -

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Mtricas de evaluacin para RICs (I)

Dimetro: Distancia mxima entre cualquier par de nodos (Cuanto ms pequeo mejor). Conectividad: Mnimo nmero de arcos que hay que eliminar para convertir la red en dos subredes desconectadas (Cuanto ms grande mejor). Ancho de Biseccin: Mnimo nmero de arcos que hay que eliminar para dividir la red en dos mitades
iguales (Cuanto ms grande mejor).

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Mtricas de evaluacin para RICs (II)

Ancho de Banda de Biseccin: Mnimo volumen de comunicacin permitido entre dos mitades cualesquiera de la red (Cuanto ms grande mejor). Costo: Nmero de enlaces en la red (Cuanto ms pequeo
mejor).

OMV - INF 5141

10

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Mtricas y redes dinmicas

El ancho de biseccin es 4, Independientemente de la zona de corte

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: Bus .. (I)

Medio compartido. La informacin es difundida. Dimetro: O(1). Conectividad: O(1). Ancho de biseccin: O(1). Coste: O(p).

OMV - INF 5141

11

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: Red matricial .. (I)

Basada en conmutacin. Soporta conexiones simultneas. Dimetro: O(1). Conectividad: O(1)? Ancho de biseccin: O(p)? Costo: O(p2).
OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: Multi-etapa .. (I)

Caso particular: Red Omega ( ) p procesadores log p etapas p/2 conmutadores por etapa
OMV - INF 5141

12

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Arquitecturas de conmutacin multi-etapa

Red omega completa de 8 entradas y 8 salidas. 3 etapas y 4 conmutadores por etapa.

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: Completa y estrella . (IV)

Red completamente conectada (8 nodos)

Red conectada en estrella (9 nodos)

OMV - INF 5141

13

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: Estructuras cartesianas .. (V)

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: Hipercubos .. (VI)

1D - hipercubo

Hipercubo: Malla con 2 nodos por dimensin y log p dimensiones.

0D - hipercubo

2D - hipercubo 3D - hipercubo

Construccin de hipercubos a partir de otros con dimensiones inferiores.

4D - hipercubo OMV - INF 5141

14

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Topologas de red: rboles .. (VI)

Slo hay un camino entre cada par de nodos. Casos particulares: Array lineal Estrella

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Mtricas de rendimiento: Resumen

OMV - INF 5141

15

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Costos de comunicacin en sistemas paralelos

Paso de mensajes. El costo de comunicacin de una operacin de transferencia depende de: Tiempo de inicio ts: tiempo de preparacin del mensaje por parte de la fuente y del destino (Aadir cabecera, correccin de
errores, ejecucin del algoritmo de enrutamiento, conexin entre fuente y destino).

Tiempo de salto th: Tiempo de desplazamiento entre dos nodos conectados directamente (tiempo de enrutamiento o switching, latencia del router o switch). Tiempo de transferencia de palabra tw: Inverso del ancho del canal de comunicacin (o ancho de banda).
OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Store-and-forward y Cut-through

Modelo de costo de comunicacin para un envo/recepcin de un mensaje

m: is the message length (size) in words L: is the number of links traversed

tcomm = ts + (mtw + th)L

Normalmente th es muy pequeo (del orden de los nano-segs) . As, tcomm = ts + mLtw Tmsg(L; m /m=1) = ts + tw L ts =tiempo de inicializacin de mensaje. tw =tiempo de transferencia por palabra. th: tiempo de salto.
OMV - INF 5141

16

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Store-and-forward y Cut-through

Mensaje no Dividido

tcom = ts + (mtw + th)L tcom = ts + mLtw

Dividido en 2 partes

Tiempo de inicio ts. Tiempo de salto th. Tiempo de transferencia por palabra tw. m: is the message length (size) in words L: is the number of links traversed

Dividido en 4 partes

tcom = ts + Lth + twm

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Enrutamiento Cut-through: Interbloqueos

Mensaje 0 Mensaje 1 Mensaje 2 Mensaje 3

Nodo A Nodo B Nodo C Nodo D

---- > direccin deseada del mensaje

Mensaje Mensaje Mensaje Mensaje

0 en camino 1 en camino 2 en camino 3 en camino

a A, bloqueado a B, bloqueado a C, bloqueado a D, bloqueado

por mensaje por mensaje por mensaje por mensaje

3 0 1 2

OMV - INF 5141

17

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Modelo de costo de comunicaciones consideraciones

Costo del envo de un mensaje de tamao m:

tcomm= ts + twm
ts es mucho ms grande que th, y en la mayora de los casos, twm es ms grande que thL.

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Enrutamiento ordenado por dimensin

Enrutamiento: Algoritmo para determinar el camino que un mensaje tomar desde la fuente hasta el destino. Varias clasificaciones: Mnimo vs. No-mnimo. Determinista vs. Adaptativo.

OMV - INF 5141

18

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Mecanismos de enrutamiento

Orden predefinido de las dimensiones. Los mensajes se encaminan por cada dimensin, en el orden establecido, hasta que no es posible continuar: X-Y para mallas E-cubo para hipercubos

OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Transformaciones en la Topologas

Mapeo entre redes:

til en los comienzos de la computacin paralela, cuando los algoritmos dependan de las topologas.

Mtricas de calidad de las transformaciones:

Congestin: Mximo nmero de enlaces de la topologa inicial mapeados en un nico enlace de la topologa final. Dilatacin: Mximo nmero de enlaces de la topologa final, sobre los que se mapea un nico enlace de la topologa inicial. Expansin: Relacin entre el nmero de nodos de ambas topologas.
OMV - INF 5141

19

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Anillo a Hipercubo

Los nodos del anillo se mapean al hipercubo siguiendo el cdigo Gray reflejado. La dilatacin y congestin es 1.
OMV - INF 5141

TOPOLOGAS Y ARQUITECTURAS UTEM Malla 2-D a Hipercubo

Malla 4x4 a Hipercubo 4-D

Malla 2x4 a Hipercubo 3-D.

OMV - INF 5141

20

29/08/2012

TOPOLOGAS Y ARQUITECTURAS UTEM Array lineal a Malla 2-D

OMV - INF 5141

21