1.

Introduo ao Processamento Paralelo e de Alto Desempenho

1.1 MOTIVAO PARA O PROCESSAMENTO DE ALTO DESEMPENHO - Aumento de desempenho de um modo geral: resoluo de problemas em menos tempo Anlise estrutural Modelagem climtica Explorao petrolfera Simulao aerodinmica Inteligncia artificial Sistemas especialistas Outras aplicaes cientficas e de engenharia - Limitao tecnolgica para processadores mais rpidos - Diviso de tarefas entre os diversos elementos do sistema - Tolerncia a falhas - Escalabilidade: possibilidade de aumento de desempenho, previso de expanso do sistema 1.2 A CLASSIFICAO DE FLYNN PARA ARQUITETURAS PARALELAS DE COMPUTADORES
Organizao de arquiteturas paralelas

Single instruction, single data (SISD)

Single instruction, multiple data (SIMD)

Multiple instruction, single data (MISD)

Multiple instruction, multiple data (MIMD)

Uniprocessor

Vector Processor

Array Processor

Shared Memory (tightly coupled) Symmetric Multiprocessor (SMP) Nonuniform Memory Access (NUMA)

Distributed Memory (loosely coupled) Clusters

Single Instruction Single Data (SISD) stream: nesta classe, um nico fluxo de instrues opera sobre um nico fluxo de dados. Isto corresponde ao processamento sequencial caracterstico da mquina de von Neumann e que compreende os computadores pessoais e estaes de trabalho. Apesar dos programas estarem organizados atravs de instrues sequenciais, elas podem ser executadas de forma sobreposta em diferentes estgios (pipelining). Arquiteturas SISD caracterizam-se por possurem uma nica unidade de controle podendo possuir mais de uma unidade funcional.

Captulo 1. Introduo ao Processamento Paralelo e de Alto Desempenho

Control unit

Functional unit

Memory

Fig. 1 Classe SISD da classificao de Flynn

Single Instruction Multiple Data (SIMD) stream: esta classificao corresponde ao processamento de vrios dados sob o comando de apenas uma instruo. Em uma arquitetura SIMD o programa ainda segue uma organizao sequencial. Para possibilitar o acesso a mltiplos dados preciso uma organizao de memria em diversos mdulos. A unidade de controle nica e existem diversas unidades funcionais. Nesta classe esto os processadores vetoriais e matriciais.

Control unit

Functional unit Functional unit Functional unit

M1 M2

Mn

Fig. 2 Classe SIMD da classificao de Flynn

Multiple Instruction Single Data (MISD) stream: neste caso, mltiplas unidades de controle executando instrues distintas operam sobre o mesmo dado. Esta classe, na realidade, no representa nenhum paradigma de programao existente e impraticvel tecnologicamente.

Control unit Control unit Control unit

Functional unit Functional unit Functional unit

M1 M2

Mn

Fig. 3 Classe MISD da classificao de Flynn

Captulo 1. Introduo ao Processamento Paralelo e de Alto Desempenho

Multiple Instruction Multiple Data (MIMD) stream: esta classe bastante genrica envolvendo o processamento de mltiplos dados por parte de mltiplas instrues. Neste caso, vrias unidades de controle comandam suas unidades funcionais, as quais tem acesso a vrios mdulos de memria. Qualquer grupo de mquinas operando como uma unidade (deve haver um certo grau de interao entre as mquinas) enquadra-se como MIMD. Alguns representantes desta categoria so os servidores multiprocessados, as redes de estaes e as arquiteturas massivamente paralelas.

Control unit Control unit Control unit

Functional unit Functional unit Functional unit

M1 M2

Mn

Fig. 4 Classe MIMD da classificao de Flynn

1.3 NVEIS DE EXPLORAO DO PARALELISMO - Hardware - Microprogramao - Convencional - Sistema operacional - Linguagem de programao 1.4 FORMAS DE DEPENDNCIA DE DADOS E DE CONTROLE Dependncia de dados: ocorre entre as instrues Dependncia de controle: ocorre em desvios na sequncia do programa Dependncia estrutural: ocorre por falta de recursos 1.5 MEDIDAS DE DESEMPENHO DAS ARQUITETURAS PARALELAS - Tcnicas de avaliao - Modelagem - Ferramentas analticas - Benchmarks