Cpia no autorizada

OUT 1998

NBR ISO/IEC 12119

ABNT-Associao Brasileira de Normas Tcnicas

Sede: Rio de Janeiro Av. Treze de Maio, 13 - 28 andar CEP 20003-900 - Caixa Postal 1680 Rio de Janeiro - RJ Tel.: PABX (021) 210 -3122 Fax: (021) 220-1762/220-6436 Endereo Telegrfico: NORMATCNICA

Tecnologia de informao - Pacotes de software - Teste e requisitos de qualidade

Origem: Projeto 21:101.01-002:1997 CB-21 - Comit Brasileiro de Computadores e Processamento de Dados CE-21:101.01 - Comisso de Estudo de Qualidade de Software NBR ISO/IEC 12119 - Information technology - Software packages - Quality requirements and testing Descriptors: Data processing. Quality. Computer program. Information technology. Software package Esta Norma equivalente ISO/IEC 12119:1994 Vlida a partir de 30.11.1998 Palavras-chave: Tecnologia de informao. Processamento de dados. Programas de computador. Qualidade. Pacotes de software 13 pginas

Copyright 1998, ABNTAssociao Brasileira de Normas Tcnicas Printed in Brazil/ Impresso no Brasil Todos os direitos reservados

Sumrio
Prefcio 1 Objetivo 2 Definies 3 Requisitos de qualidade 4 Instrues para teste ANEXOS A Definies de outras Normas B Exemplo de uma descrio de produto C Bibliografia

1 Objetivo
Esta Norma aplicvel a pacotes de software. So exemplos: processadores de texto, planilhas eletrnicas, bancos de dados, software grficos, programas para funes tcnicas ou cientficas e programas utilitrios. Esta Norma estabelece: - os requisitos para pacotes de software (requisitos de qualidade); - instrues de como testar um pacote de software com relao aos requisitos estabelecidos (instrues para testes, em particular para teste por terceira parte). Esta Norma no trata de processos de produo de software (tampouco atividades e produtos intermedirios, por exemplo especificaes); trata somente de pacotes de software na forma como so oferecidos e liberados para uso. O sistema de qualidade do produtor (tratado, por exemplo, na NBR ISO 9001) est fora do escopo desta Norma.
NOTA - Alguns software necessitam de requisitos adicionais, por exemplo software cujo requisito de segurana seja crtico.

Prefcio
A ABNT - Associao Brasileira de Normas Tcnicas - o Frum Nacional de Normalizao. As Normas Brasileiras, cujo contedo de responsabilidade dos Comits Brasileiros (CB) e dos Organismos de Normalizao Setorial (ONS), so elaboradas por Comisses de Estudo (CE), formadas por representantes dos setores envolvidos, delas fazendo parte: produtores, consumidores e neutros (universidades, laboratrios e outros). Os Projetos de Norma Brasileira, elaborados no mbito dos CB e ONS, circulam para Votao Nacional entre os associados da ABNT e demais interessados. Esta Norma inclui os anexos A, B, e C, os quais so informativos.

Incluem-se como possveis usurios desta Norma: a) fornecedores que estejam: 1) especificando os requisitos para um pacote de software;

Cpia no autorizada

NBR ISO/IEC 12119:1998

2) projetando um modelo para descrever produtos; 3) julgando seus prprios produtos; 4) emitindo declaraes de conformidade (ABNT ISO/IEC Guia 22); 5) submetendo produtos certificao ou obteno de marcas de conformidade (ABNT ISO/IEC Guia 23); b) entidades de certificao que pretendam estabelecer um esquema de certificao por terceira parte (internacional, nacional ou regional) (ABNT ISO/IEC Guias 2, 161), 28 e 44); c) laboratrios de teste, que tero de seguir as instrues de teste durante a execuo de testes para certificao ou para emisso de marca de conformidade (ABNT ISO/IEC Guia 25); d) entidades de credenciamento que credenciam entidades de certificao e laboratrios de testes (ABNT ISO/IEC Guias 402) e 58); e) auditores quando julgam a competncia de laboratrios de teste (ABNT ISO/IEC Guia 58); f) compradores que pretendam: 1) comparar seus prprios requisitos com os aqui descritos; 2) comparar os requisitos necessrios para executar uma determinada tarefa com a informao presente nas descries de produtos existentes; 3) procurar por produtos certificados; 4) verificar se os requisitos foram atendidos; g) usurios que pretendam se beneficiar com produtos melhores.

2.2 documento de requisitos: Documento contendo quaisquer combinaes de recomendaes, requisitos ou regulamentaes a serem atendidas por um pacote de software.
NOTA - Exemplos: normas ergonmicas ou tcnicas, lista de requisitos (ou modelo de especificao de requisitos) de um grupo (exemplo: setor de marketing, associao de usurio ou tcnica), uma lei ou um decreto.

2.3 descrio de produto: Documento expondo as propriedades de um pacote de software, com o principal objetivo de auxiliar os potenciais compradores na avaliao da adequao do produto antes de sua aquisio.
NOTA - Este termo mais especfico que o termo descrio de sistema (system description), na ISO/IEC 2382-20. O objetivo da descrio do produto abrange tambm as informaes gerais (cover information) da ISO 9127. A descrio de produto no uma especificao, ela atende a um objetivo diferente.

2.4 documentao de usurio: Conjunto completo de documentos, disponvel na forma impressa ou no, que fornecido para a utilizao de um produto, sendo tambm uma parte integrante do produto. 2.5 documentao de pacote: Descrio de produto e a documentao de usurio. 2.6 guia de teste (test case)3): Instruo documentada para o responsvel pelo teste, que especifica como deve ou convm que seja testada uma funo ou uma combinao de funes. Um guia de teste inclui informaes detalhadas sobre as seguintes questes: - objetivo do teste; - funes a serem testadas; - ambiente de testes e outras condies (detalhes de configurao e trabalho preparatrio); - dados de testes; - procedimento;

2 Definies
As definies a seguir se aplicam para os propsitos desta Norma. As definies aqui utilizadas, provenientes de outras Normas, foram reproduzidas no anexo A para referncia. 2.1 funo: Implementao de um algoritmo em um programa com o qual o usurio ou o programa pode realizar toda uma tarefa ou parte dela.
NOTAS 1 Uma funo no precisa ser necessariamente acionvel pelo usurio (por exemplo, backup automtico ou salvamento automtico de dados). 2 Esta definio de funo menos abrangente que a usada pela ISO 2382-14:1978 (na definio de falha, defeito/falta (fault), manuteno e confiabilidade) e mais ampla que as definidas pela ISO 2382-2 e ISO 2382-15.
1) 2) 3)

- comportamento esperado do sistema. 2.7 manuteno: Parte da manuteno de sistemas (ver A.5.2) que est relacionada modificao do pacote de software.

3 Requisitos de qualidade
As subsees 3.1 a 3.3 contm: - necessidade de que cada pacote de software tenha uma descrio de produto e documentao de usurio; - requisitos para a descrio de produto. Em particular, h um requisito que esta descrio deve conter informaes especficas e que todas as suas declaraes devem ser passveis de testes e corretas;

Este Guia foi cancelado e substitudo pelo ABNT ISO/IEC Guia 60. Este Guia foi cancelado e substitudo pelo ABNT ISO/IEC Guia 65.

Nota de traduo - O termo guia de teste foi escolhido porque o termo caso de teste est sendo usado, de acordo com autores como Pressman, Schach, Hetzel, Myers e entidades como o IEEE, significando apenas o conjunto de entradas de teste e sadas esperadas.

Cpia no autorizada

NBR ISO/IEC 12119:1998

- requisitos para a documentao de usurio; - requisitos para os programas e dados, caso existam, includos no pacote.
NOTAS 1 Os requisitos sobre a documentao de usurio, programas e dados contm muitos requisitos gerais (independente do que pode ser prometido em uma descrio de produto), mas no incluem todas as propriedades que os usurios possam desejar. 2 Certas propriedades da documentao de usurio e das mensagens do programa, tais como inteligibilidade e boa organizao e apresentao, podem ser requeridas na viso do usurio. Entretanto, devido dificuldade de test-las com resultados bem definidos e reproduzveis, so formuladas, atualmente, apenas como recomendaes.

Cada declarao da descrio de produto deve ser correta e passvel de teste.

NOTA - Este requisito se estende s declaraes que citem documentos de requisitos, se existentes (ver 3.1.2 e).

As subsees a seguir, de 3.1.2 a 3.1.8, especificam o que a descrio de produto deve incluir ou convm que inclua, podendo incluir declaraes adicionais sobre o produto.
3.1.2 Identificaes e indicaes

a) Identificao da descrio de produto A descrio de produto deve possuir uma nica identificao de documento. A descrio de produto pode ser chamada de formas diferentes, por exemplo, Descrio Funcional, Informao de Produto e Folha de Produto. b) Identificao do produto A descrio de produto deve identificar o produto. A identificao do produto deve ter no mnimo o nome do produto e uma verso ou data. Se existirem duas ou mais variantes mencionadas na descrio de produto, ento cada variante deve ter no mnimo o nome do produto, o nome da variante e uma verso ou data. c) Fornecedor A descrio de produto deve conter o nome e o endereo de no mnimo um fornecedor.
NOTA - O nome e endereo no precisam ser impressos; o carimbo de um fornecedor/revendedor suficiente.

Um pacote de software est em conformidade com esta Norma se atende a todos os requisitos definidos nas subsees 3.1 a 3.3. As recomendaes indicadas pelo uso da forma verbal convm que so opcionais.
NOTA - A conformidade de um produto em relao aos requisitos definidos nas subsees 3.1 a 3.3 pode ser difcil ou impossvel de se provar. Entretanto, um teste (incluindo a reviso da documentao) de acordo com o item considerado suficiente para proporcionar a confiana necessria para a certificao de conformidade de acordo com o ABNT ISO/IEC Guia 2. Nenhuma prova formal necessria.

3.1 Descrio de produto Cada pacote de software deve ter uma descrio de produto. A descrio de produto define o produto e uma parte do conjunto de documentao do produto. Ela fornece informaes sobre a documentao de usurio, programas e, se existirem, sobre os dados. Os principais objetivos da descrio de produto so: - ajudar o usurio ou o comprador em potencial na avaliao da adequao do produto s suas necessidades. Por extenso ela tambm fornece informaes para venda; - servir como base para testes (ver seo 4). A descrio de produto deve estar disponvel para pessoas interessadas no produto.
3.1.1 Requisitos gerais sobre o contedo da descrio

d) Tarefa A descrio de produto deve identificar as tarefas que podem ser executadas utilizando-se o produto. e) Conformidade a documentos de requisitos A descrio de produto pode fazer referncia aos documentos de requisitos com os quais o produto est em conformidade. Neste caso as edies relevantes devem ser identificadas. f) Requisitos de hardware e software Os requisitos para colocar o produto em uso devem ser especificados, incluindo nomes de fabricantes e identificao do tipo de todos os componentes, por exemplo: - unidades de processamento incluindo coprocessadores; - tamanho da memria principal; - tipos e tamanhos dos perifricos de armazenamento; - placas de expanso;

Convm que a descrio de produto seja suficientemente inteligvel, completa e possua boa organizao e apresentao, a fim de auxiliar os compradores em potencial na avaliao da adequao do produto s suas necessidades, antes de compr-lo. Deve ser livre de inconsistncias internas. Convm que cada termo tenha um nico significado.

- equipamentos de entrada e sada;

Cpia no autorizada

NBR ISO/IEC 12119:1998

- ambientes de rede;

- software de sistema e outros software.

Diferentes requisitos podem ser especificados, por exemplo, para diferentes tarefas, diferentes valoreslimite ou diferentes requisitos de eficincia. A declarao ou qualquer outro..., se compatvel somente pode aparecer em uma descrio de produto se previamente tiver sido identificado um produto especfico de software ou hardware. A declarao ou uma verso atualizada, se compatvel somente pode aparecer se previamente uma verso do produto tiver sido identificada. A declarao da verso X verso Y pode aparecer; a partir da verso X no deve aparecer.
NOTA - A declarao a partir da verso X poderia mais tarde se tornar falsa pelo aparecimento de uma verso X+3 com a qual o pacote de software falharia ao ser executado.

Deve ser declarada de forma ntida para cada funo mencionada (especialmente para uma opo ou variante) se ela parte: - do produto; - de uma extenso do produto integralmente apresentada na descrio do produto; - de uma extenso do produto referida na descrio do produto; - de um suplemento sem garantia.
NOTA - Nem toda funo disponvel para o usurio necessita ser mencionada, assim como nem todos detalhes de como uma funo chamada necessitam ser descritos.

b) Valores-limite Se o uso do produto limitado por valores-limite especficos, estes devem ser fornecidos. So exemplos: - valores mximos ou mnimos; - comprimento de chaves; - nmero mximo de registros em um arquivo; - nmero mximo de critrios de busca; - tamanho mnimo de amostra. No caso de no ser possvel fornecer valores-limite fixos (por exemplo, quando eles dependem do tipo de aplicao ou do tipo de dado de entrada), as limitaes devem ser estabelecidas. Combinaes permitidas de valores podem ser fornecidas. A documentao do usurio deve ser referida para informaes mais especficas. c) Segurana de acesso Convm que a descrio de produto inclua informaes a respeito de maneiras, se fornecidas, para evitar o acesso no autorizado (acidental ou intencional) a programas e dados.
3.1.4 Declaraes sobre confiabilidade

g) Interface com outros produtos Se a descrio de produto faz referncias a interfaces com outros produtos, as interfaces ou produtos devem ser identificados. h) Itens a serem entregues Todo componente fsico do produto fornecido deve ser identificado, em particular todos os documentos impressos e todos os meios de armazenamento de dados. O formato dos programas fornecidos deve ser declarado, por exemplo: programas-fonte, mdulosobjeto ou mdulos de carga.
NOTA - A formatao dos meios de armazenamento (por exemplo, formatao dos disquetes) no precisa ser indicada, pois o conjunto de formataes possveis determinado pelos requisitos de hardware e software (ver 3.1.2 f).

i) Instalao Deve ser declarado se a instalao do produto pode ou no ser conduzida pelo usurio. j) Suporte Deve ser declarado se o suporte para operao do produto oferecido ou no. k) Manuteno Deve ser declarado se a manuteno oferecida ou no. Se a manuteno for oferecida, deve ser declarado especificamente o que includo.
3.1.3 Declaraes sobre funcionalidade

A descrio de produto deve incluir informaes sobre procedimentos para preservao de dados.
NOTA - Uma declarao do tipo: possvel fazer backup (cpia de segurana) atravs de funes do sistema operacional suficiente na descrio de produto.

Convm que propriedades adicionais do produto sejam descritas para assegurar a capacidade funcional do produto. So exemplos: - verificao se a entrada aceitvel; - proteo contra conseqncias danosas decorrentes de erro de usurio; - recuperao de erro.

a) Viso geral das funes A descrio de produto deve fornecer uma viso geral das funes disponveis para o usurio do produto, os dados necessrios e as facilidades oferecidas.

Cpia no autorizada

NBR ISO/IEC 12119:1998

3.1.5 Declaraes sobre usabilidade

a) Interface com o usurio O tipo de interface com o usurio deve ser especificado, por exemplo: linha de comando, menu, janelas, teclas de funo e funo de auxlio. b) Conhecimento requerido

tempo de resposta e taxas de throughput para uma dada funo sob condies estabelecidas (por exemplo, a configurao do sistema).
3.1.7 Declaraes sobre manutenibilidade

A descrio de produto pode conter declaraes sobre manutenibilidade.

3.1.8 Declaraes sobre portabilidade

O conhecimento especfico requerido para a aplicao do produto deve ser descrito. So exemplos: - conhecimento de uma rea tcnica;

A descrio de produto pode conter declaraes sobre portabilidade. 3.2 Documentao de usurio

- conhecimento de um sistema operacional;

3.2.1 Completitude

- conhecimento que possa ser adquirido via treinamento especial; - conhecimento de outro idioma diferente daquele em que foi escrita a descrio de produto. Devem ser declarados todos os idiomas utilizados na documentao de usurio e na interface com o usurio (incluindo mensagens de erro e dados visveis), tanto os do prprio pacote de software como os de todos os outros produtos mencionados na descrio de produto.
NOTA - Este requisito excede o da ISO 9127:1988, 6.1.7, onde a meno dos idiomas usados opcional.

A documentao de usurio deve conter as informaes necessrias para o uso do produto. Todas as funes estabelecidas na descrio de produto e todas as funes do programa que os usurios tenham acesso devem ser completamente descritas na documentao de usurio. Todo valor-limite citado na descrio de produto deve ser repetido na documentao de usurio. Se a instalao puder ser executada pelo usurio, a documentao de usurio dever incluir um manual de instalao contendo todas as informaes necessrias (ver 3.3.1 a). Convm que o manual de instalao estabelea o espao de armazenamento mnimo e mximo para a instalao do produto. Se algum tipo de manuteno puder ser executada pelo usurio, a documentao de usurio dever incluir um manual de manuteno de programa contendo todas as informaes necessrias para essa manuteno.
3.2.2 Correo

c) Adaptao s necessidades do usurio Se o produto pode ser adaptado pelo usurio, ento as ferramentas para esta adaptao e as condies para seu uso devem ser identificadas. So exemplos: - mudana de parmetros; - mudana de algoritmos para computao; - atribuio de teclas de funo. d) Proteo contra infraes a direitos autorais Se a proteo tcnica contra infraes a direitos autorais pode dificultar a usabilidade, ento esta proteo deve ser declarada. So exemplos: - proteo tcnica contra cpias; - datas programadas de expirao de uso; - lembretes interativos para pagamento por cpia. e) Eficincia de uso e satisfao de usurio A descrio de produto deve incluir dados sobre a eficincia de uso e satisfao de usurio.
NOTA - Tais dados podem seguir a orientao da ISO 9241-11. 3.1.6 Declaraes sobre eficincia NOTA - Consistncia com programas e dados tratada em 3.3.1 d. 3.2.4 Inteligibilidade

Todas as informaes na documentao de usurio devem estar corretas. Alm disso, convm que sua apresentao no contenha ambigidades nem erros.
3.2.3 Consistncia

Os documentos da documentao de usurio no devem apresentar contradies internas entre si e com a descrio de produto. Convm que cada termo tenha um significado nico em toda documentao.

Convm que a documentao de usurio seja inteligvel pela classe de usurios que normalmente executa a tarefa a ser atendida pelo produto, utilizando, por exemplo, uma seleo apropriada de termos, exibies grficas, explicaes detalhadas e citando fontes teis de informao.
3.2.5 Apresentao e organizao

A descrio de produto pode incluir dados sobre o comportamento do produto em relao ao tempo, tais como

Convm que a documentao de usurio possua boa apresentao e organizao, de tal modo que quaisquer relacionamentos sejam facilmente identificados.

Cpia no autorizada

NBR ISO/IEC 12119:1998

Convm que todo documento tenha ndice analtico e remissivo. Se um documento no estiver na forma impressa, convm que o procedimento para impresso seja indicado. 3.3 Programas e dados
3.3.1 Funcionalidade

Este requisito deve ser cumprido ainda que: - a capacidade seja explorada at os limites especificados; - tentativas sejam feitas para explorar a capacidade alm dos limites especificados; - uma entrada incorreta seja feita pelo usurio ou por outros programas listados na descrio de produto; - instrues explcitas na documentao de usurio sejam violadas. Esto excludas somente as possibilidades de interrupo do hardware e do sistema operacional que no podem ser controladas por nenhum programa (por exemplo, a tecla ou combinaes de teclas para reinicializar o sistema operacional). Os programas devem reconhecer as violaes da sintaxe estabelecida para entrada de dados. No caso de um programa reconhecer uma entrada como errnea ou indefinida ele no deve process-la como uma entrada permitida.
3.3.3 Usabilidade

a) Instalao Se a instalao puder ser realizada pelo usurio, deve ser possvel instalar os programas com sucesso, seguindo as informaes contidas no manual de instalao. Os requisitos de hardware e software apresentados na descrio de produto devem ser suficientes para a instalao dos programas. Aps a instalao deve ser possvel identificar se os programas funcionam, por exemplo, usando guias de teste fornecidos ou atravs de auto-teste com as mensagens correspondentes. b) Presena de funes Todas as funes mencionadas na documentao de usurio devem ser executveis na forma nela descrita, com os correspondentes recursos, propriedades e dados, e dentro dos valores-limite fornecidos.
NOTA - Uma vez que todas as funes mencionadas na descrio de produto devem tambm aparecer na documentao de usurio, conseqentemente elas tambm devem ser executveis.

Se em um acordo entre partes for utilizada esta Norma, recomenda-se investigar a possibilidade de aplicao das edies mais recentes da srie ISO 9241.
NOTA - Em particular, recomenda-se utilizar as partes 10 e 13 da srie ISO 9241.

c) Correo Os programas e dados devem corresponder a todas as declaraes contidas na descrio de produto e na documentao de usurio. As funes devem ser executadas de maneira correta para a realizao de uma tarefa. Em particular, programas e dados devem estar de acordo com todos os requisitos definidos em qualquer documento de requisitos citado na descrio de produto. d) Consistncia Os programas e dados no devem conter contradies internas, contradies com a descrio do produto e com a documentao de usurio. Convm que cada termo tenha um significado nico em toda a documentao. Convm que o controle da operao do programa pelo usurio e o comportamento do programa (por exemplo: mensagens, formatos de tela de entrada e relatrios impressos) sejam estruturados de maneira uniforme.
3.3.2 Confiabilidade

a) Inteligibilidade Convm que as perguntas, mensagens e resultados dos programas sejam inteligveis, por exemplo: - por uma seleo adequada de termos; - por representaes grficas; - pelo fornecimento de informaes bsicas que facilitem o entendimento; - pelas explicaes dadas por uma funo de auxlio (Help). As mensagens de erro devem fornecer informaes detalhadas, explicando a sua causa ou forma de correo (por exemplo, por uma referncia a um item na documentao de usurio). b) Apresentao e organizao Cada meio de armazenamento de dados deve apresentar a identificao do produto e, se existir mais de um meio, eles devem ser distinguidos por um nmero ou texto. Deve ser sempre possvel ao usurio, quando estiver trabalhando com os programas, descobrir qual funo est sendo executada.

O sistema, compreendendo hardware e software, bem como os programas que pertencem ao produto, no deve entrar em um estado no qual o usurio no consiga control-lo, nem deve corromper ou perder dados.

Cpia no autorizada

NBR ISO/IEC 12119:1998

Convm que os programas forneam ao usurio informaes claramente visveis e fceis de serem lidas. Convm que o usurio seja guiado por informaes codificadas e agrupadas adequadamente. Onde for necessrio, convm que os programas alertem o usurio. Convm que as mensagens dos programas sejam projetadas de forma que o usurio possa diferencilas facilmente pelo tipo, por exemplo: - confirmao; - solicitaes; - advertncias; - mensagens de erro. Convm que os formatos de tela de entrada, de relatrios e de outras entradas e sadas sejam projetados para serem claros e com boa apresentao e organizao. Algumas alternativas poderiam ser: - campos alfanumricos sejam alinhados pela esquerda; - campos numricos sejam alinhados pela direita; - em tabelas, pontos decimais e vrgulas sejam colocados na mesma linha vertical; - limites dos campos sejam reconhecveis; - campos obrigatrios sejam reconhecveis como tal; - na deteco de falhas de entrada, as mesmas sejam imediatamente realadas na tela; - quando ocorrer uma mudana no contedo da tela, o usurio seja alertado por um sinal auditivo ou visual. c) Operacionalidade A execuo de funes que tm conseqncias graves deve ser reversvel, ou os programas devem dar uma clara advertncia sobre as conseqncias e requisitar a confirmao antes da execuo do comando. Em particular, o processo de apagar dados ou sobrep-los, bem como de interromper um processamento demorado, tem conseqncias graves. Se um texto de documentao exibido em um dilogo, convm que o usurio seja capaz de fazer acesso aos subitens do texto de uma maneira direta, por exemplo: pela seleo em uma tabela de contedo exibida na tela, ou por uma funo de busca baseada em palavras-chave.
3.3.4 Eficincia

3.3.5 Manutenibilidade

No h exigncia. Entretanto, o produto deve estar em conformidade com as declaraes de manutenibilidade citadas em sua descrio.
3.3.6 Portabilidade

No h exigncia. Entretanto, o produto deve estar em conformidade com as declaraes de portabilidade citadas em sua descrio.

4 Instrues para teste

As instrues contidas nas subsees 4.1 a 4.5 especificam como um produto deve ser testado em relao aos requisitos de qualidade. Elas incluem tanto o teste das propriedades necessrias a todos os produtos de mesmo tipo, quanto o teste das propriedades especificadas na descrio do produto. Tambm esto includos o teste por inspeo dos documentos e o teste caixapreta. Estas instrues descrevem o teste funcional (teste caixapreta). O teste estrutural no est includo porque requer a disponibilidade do cdigo-fonte. Somente o produto, no seu ambiente de hardware e software, testado. A avaliao ergonmica do ambiente de uso do sistema computacional no considerada nesta Norma.
NOTAS 1 Estas instrues so primeiramente direcionadas para o teste de terceira parte, de acordo com algum esquema de certificao (ver 1.c). Durante a produo pode ser mais barato ou mais eficaz usar teste estrutural. 2 A seo 4 no contm requisitos sobre pacotes de software (todos eles esto contidos na seo 3). Um pacote de software pode estar conforme, sem ter sido testado em concordncia com a seo 4, e tal teste pode ser incapaz de identificar uma no-conformidade existente. 3 Como o ambiente de hardware e software definido pela descrio do produto, qualquer no-conformidade do produto com o respectivo ambiente tratado como uma no-conformidade do produto. 4 Os testes quanto ao atendimento s recomendaes podem tornar-se opcionais, dependendo do esquema de certificao. 5 As orientaes sobre avaliao ergonmica esto contidas na ISO 9241-11.

4.1 Pr-requisitos de teste

4.1.1 Presena de itens do produto

Para se testar um pacote de software, todos os itens a serem entregues (ver 3.1.2 h), assim como os documentos de requisitos identificados na descrio de produto (ver 3.1.2 e), devem estar presentes.
4.1.2 Presena de componentes do sistema

No h exigncia. Entretanto, o produto deve estar em conformidade com as declaraes de eficincia citadas em sua descrio.

Para se testar um pacote de software necessrio que as partes constituintes de todo o ambiente de hardware e software, como identificadas na descrio de produto, estejam disponveis.

Cpia no autorizada

NBR ISO/IEC 12119:1998

4.1.3 Treinamento

Se o treinamento for mencionado na descrio do produto, o responsvel pelo teste deve ter acesso ao material e ao programa de treinamento. 4.2 Atividades de teste A descrio de produto, a documentao de usurio, os programas e quaisquer dados a serem fornecidos como parte do pacote de software - devem ser testados com relao conformidade com os requisitos da seo 3 e - convm que sejam testados com relao conformidade com as recomendaes da seo 3. Os objetivos do teste devem ser derivados dos requisitos da seo 3 e devem incluir todos eles (completitude, consistncia, etc.). Se outros produtos forem mencionados na descrio de produto, eles s precisam ser testados para as exigncias feitas na descrio do produto submetido a teste. Os detalhes na descrio de produto, na documentao de usurio, nas funes ou dados do produto no precisam ser testados se, de acordo com o julgamento do responsvel pelo teste - eles tiverem influncia desprezvel na adequao para a tarefa indicada, e - puderem ser testados a princpio, mas no com custo justificvel. Os detalhes que no forem testados devem ser mencionados nos registros e relatrio de teste. As razes para no test-los devem ser documentadas nos registros de teste.
4.2.1 Descrio de produto

Os programas e seus respectivos dados devem ser testados usando guias de teste construdos com base na descrio de produto e na documentao de usurio. Materiais adicionais (por exemplo, programas-fonte) no precisam ser considerados, a menos que as declaraes na descrio de produto e na documentao de usurio no contenham as informaes suficientes. Os guias de teste devem ser construdos metdica e sistematicamente.
NOTA - Teste randmico metdico permitido.

Se forem dados exemplos na documentao de usurio, eles devem ser usados para criao de guias de teste, mas os testes no devem se restringir a estes exemplos. Os guias de teste disponibilizados pelo fornecedor do pacote de software podem ser usados, mas os testes no devem se restringir a eles. a) Instalao Se, de acordo com a descrio de produto, a instalao puder ser feita pelo usurio, deve ser testado se os programas podem ser instalados e testados quanto sua correta instalao, conforme descrito no manual de instalao. O ambiente de hardware e software dos programas instalados deve corresponder ao sistema computacional em considerao conforme o estabelecido na descrio de produto. b) Execuo de programa Os guias de teste devem cobrir todas as funes descritas na descrio de produto e na documentao de usurio e devem considerar as combinaes de funes que so representativas para a tarefa. Os programas devem ser testados para todos os valores-limite (de acordo com a descrio de produto e a documentao de usurio) para seus requisitos de hardware e software, aos quais estes valores se aplicam. Entradas ou seqncias de comandos que esto explicitamente desaprovadas ou declaradas como proibidas na documentao de usurio (ver 3.3.2) devem ser usadas nos testes. 4.3 Registros de teste Os registros para cada teste devem conter informao suficiente para permitir a repetio do teste (ABNT ISO/IEC Guia 25). Eles devem incluir: - um plano de teste ou especificao de teste contendo guias de teste (cada guia de teste estabelecendo seus objetivos, ver 2.6); - todos os resultados associados com os guias de teste, incluindo todas as falhas que ocorreram durante o teste; - a identificao do pessoal envolvido no teste.

Deve ser verificada quanto ao cumprimento dos requisitos da seo 3 e convm que seja verificada quanto ao cumprimento das recomendaes da seo 3.
4.2.2 Documentao de usurio

Deve ser verificada quanto ao cumprimento dos requisitos da seo 3 e convm que seja verificada quanto ao cumprimento das recomendaes da seo 3.
4.2.3 Programas e dados

Devem ser testados quanto ao cumprimento dos requisitos da seo 3 e convm que sejam testados quanto ao cumprimento das recomendaes da seo 3. Os programas devem ser testados em todos os ambientes de hardware e software especificados na descrio de produto. Se existirem diversas variantes do programa, cada uma delas deve ser testada. As funes que, de acordo com a descrio de produto e documentao de usurio, so idnticas para um grupo de variantes, podem ser testadas cada uma em uma variante.

Cpia no autorizada

NBR ISO/IEC 12119:1998

4.4 Relatrio de teste Os objetos e resultados do teste (como relatado nos registros de teste) devem ser resumidos em um relatrio de teste, que deve ter a seguinte estrutura: 1 Identificao do produto; 2 Sistemas computacionais usados para o teste (hardware, software e suas configuraes); 3 Documentos usados (com suas identificaes); 4 Resultados dos testes de descrio de produto, documentao de usurio, programas e dados; 5 Lista das no-conformidades aos requisitos; 6 Uma lista das no-conformidades em relao s recomendaes, ou uma lista das recomendaes que no foram seguidas, ou uma declarao de que o produto no foi testado quanto conformidade em relao s recomendaes; 7 Data do encerramento do teste. A seo 4 do relatrio de teste (Resultados do teste) deve conter uma declarao correspondente a cada subseo de 3.1 a 4.2. Alm da declarao de que o produto no foi testado quanto conformidade em relao s recomendaes, a seo 6 do relatrio de teste pode fornecer uma lista das no-conformidades observadas em relao s recomendaes. A identificao do relatrio de teste (laboratrio de teste, identificao do produto, data do relatrio de teste) e o

nmero total de pginas devem aparecer em cada pgina do relatrio de teste. O relatrio de teste deve incluir: - uma declarao indicando que os resultados de teste se referem somente aos itens testados; - uma declarao de que o relatrio de teste no deve ser parcialmente reproduzido, a menos que haja a aprovao por escrito do laboratrio de teste (ABNT ISO/IEC Guia 25). Convm que o relatrio de teste esteja de acordo com as orientaes para relatrios de teste que constam no ABNT ISO/IEC - Guia 25. 4.5 Teste de acompanhamento Quando um produto, que j foi testado, testado novamente (levando-se em considerao o teste anterior), ento: - todas as partes modificadas nos documentos, funes e dados devem ser testadas como se fossem um novo produto; - todas as partes inalteradas com possibilidade de serem influenciadas pelas partes alteradas ou por modificao nos requisitos de hardware e software (de acordo com o conhecimento especializado do responsvel pelo teste) devem ser testadas como se fossem um novo produto; - todas as outras partes devem ser testadas, considerando-se, pelo menos, casos de testes com seleo por amostragem.

/ANEXOS

Cpia no autorizada

10

NBR ISO/IEC 12119:1998

Anexo A (informativo) Definies de outras normas

Definies de alguns termos utilizados nesta Norma, mas definidos em outras normas, so citadas aqui para facilitar a referncia. No momento da publicao da ISO/IEC 12119:1994, as edies indicadas eram vlidas e suas definies foram usadas ou consideradas. A.2.2 Confiabilidade: Conjunto de atributos que evidenciam a capacidade do software de manter seu nvel de desempenho sob condies estabelecidas durante um perodo de tempo estabelecido. [ISO/IEC 9126:1991, sem as notas] A.2.3 Usabilidade: Conjunto de atributos que evidenciam o esforo necessrio para se poder utilizar o software, bem como o julgamento individual desse uso, por um conjunto explcito ou implcito de usurios. [ISO/IEC 9126:1991, sem as notas] A.2.4 Eficincia: Conjunto de atributos que evidenciam o relacionamento entre o nvel de desempenho do software e a quantidade de recursos usados, sob condies estabelecidas. [ISO/IEC 9126:1991, sem a nota] A.2.5 Manutenibilidade: Conjunto de atributos que evidenciam o esforo necessrio para fazer modificaes especificadas no software. [ISO/IEC 9126:1991, sem a nota] A.2.6 Portabilidade: Conjunto de atributos que evidenciam a capacidade do software ser transferido de um ambiente para outro. [ISO/IEC 9126:1991, sem a nota]

A.1 Termos gerais

A.1.1 Software: Programas, procedimentos, regras e qualquer documentao associada, pertinente operao de um sistema computacional. [ISO/IEC 2382-1:1993, sem a nota] A.1.2 Pacote de software: Conjunto completo e documentado de programas fornecido a diversos usurios para uma aplicao ou funo genrica. [ISO/IEC 2382-20:1990, sem a nota] A.1.3 Software de sistema: Software independente da aplicao que suporta a execuo de um software aplicativo. [ISO/IEC 2382-20:1990] A.1.4 Rotina utilitria, programa utilitrio: Rotina (um programa computacional) que fornece servios gerais, freqentemente necessrios. Exemplos: uma rotina de entrada, um programa de diagnstico, um programa trace , um programa sort. [ISO/IEC 2382-7:1989] A.1.5 Unidade funcional: Entidade de hardware ou de software ou de ambos, capaz de executar um propsito especfico. [ISO 2382-1:1993] A.1.6 Programa (de computador): Unidade sinttica que est em conformidade com as regras de uma linguagem de programao particular, composta de declaraes, comandos ou instrues necessrias para executar uma certa funo ou tarefa, ou ainda solucionar um problema. [ISO/IEC 2382-1:1993] A.1.7 Interface: Limite compartilhado entre duas unidades funcionais, definido por caractersticas funcionais, caractersticas de interconexo fsica comuns, caractersticas de sinal, e outras caractersticas, quando apropriado. [ISO/IEC 2382-9:1984, sem a nota] A.1.8 Interface com o usurio: Uma interface que permite que as informaes sejam passadas entre um usurio e componentes de hardware ou de software de um sistema computacional. [ANSI/IEEE Std 610.12-1990] A.1.9 Configurao: A maneira na qual o hardware e o software de um sistema de processamento de informao so organizados e interconectados. [ISO 2382-1:1993]

A.3 Dados
A.3.1 Dados: Representao reinterpretvel da informao de maneira formalizada, adequada para comunicao, interpretao ou processamento. [ISO 2382-1:1993] A.3.2 Meio de dados: Material no qual os dados podem ser armazenados e do qual podem ser recuperados. [ISO 2382-1:1993]

A.4 Teste
A.4.1 Teste: Operao tcnica que consiste na constatao de uma ou mais caractersticas de um dado produto, processo ou servio, de acordo com um procedimento especificado. [ABNT ISO/IEC Guia 2:1991] A.4.2 Dados de teste: Dados utilizados em um problema de teste. [ISO 2382-8:1986] A.4.3 Problema de teste: Problema com uma soluo conhecida usada para determinar se uma unidade funcional est operando corretamente. [ISO 2382-8:1983] A.4.4 Mtodo de teste: Procedimento tcnico especificado para executar um teste. [ABNT ISO/IEC Guia 2:1991] A.4.5 Plano de teste ou plano de avaliao e teste de sistema: Plano que estabelece requisitos detalhados, critrios, metodologia geral, responsabilidades e planejamento geral para testes e avaliao de um sistema. [ISO 2382-20:1990] A.4.6 Relatrio de testes: Documento que apresenta resultados de testes e outras informaes relevantes para um teste. [ABNT ISO/IEC Guia 2:1991]

A.2 Caractersticas de um produto

A.2.1 Funcionalidade: Conjunto de atributos que evidenciam a existncia de um conjunto de funes e suas propriedades especificadas. As funes so as que satisfazem as necessidades explcitas ou implcitas. [ISO/IEC 9126:1991, sem as notas]

Cpia no autorizada

NBR ISO/IEC 12119:1998

11

A.5 Outros termos

A.5.1 Manual de manuteno de programa: Documento que fornece toda a informao necessria para a manuteno de um programa. [ISO/IEC 2382-20:1990] A.5.2 Manuteno de sistema: Alterao de um sistema para corrigir defeitos, para melhorar o desempenho, ou para adaptar o sistema s mudanas de ambiente ou de requisitos. [ISO/IEC 2382-20:1990]

A.5.3 Tarefa: Resultado esperado em um contexto de trabalho. [ISO 6385:1981] A.5.4 Contexto de trabalho: Combinao de pessoa e equipamento, atuando juntos no processo produtivo, para executar uma tarefa, no espao e no ambiente de trabalho, sob condies determinadas pela tarefa. [ISO 6385:1981]

/ANEXO B

Cpia no autorizada

12

NBR ISO/IEC 12119:1998

Anexo B (informativo) Exemplo de uma descrio de produto

O exemplo seguinte descreve, de acordo com esta Norma, um pacote de software simples e fictcio, com o objetivo de mostrar as informaes que devem estar presentes em toda descrio de produto. Formulrio de descrio de produto: Alguns detalhes tcnicos: - O FIREatWORK pode ser executado em um computador pessoal Quince Hardcore 119xi e em computadores compatveis, com no mnimo 1 MB de memria principal e uma unidade de disquete de 3 1/2 ou 5 1/4 polegadas, com capacidade mnima de 720 KB. Ele no necessita de unidade de disco rgido e suporta mouse Mini-Rat serial ou paralelo, ou qualquer outro compatvel, mas o mouse no requerido. - O FiREatWORK necessita de placa grfica Hercules DeLuxo ou PowerEGA 16+, ou qualquer outra compatvel com esses modelos. - O FIREatWORK executa sob o sistema operacional B.I.T.S 1.01 ou Gnome 3.0, ou qualquer outro compatvel com um desses dois. Quando encomendar o FIREatW0RK, favor informar: O FIREatWORK instala-se em memria. A proteo da tela ser iniciada quando voc deixar de pressionar alguma tecla e de mover o mouse por um perodo de tempo passvel de ajuste. Ela ser desativada to logo voc pressione alguma tecla ou mova o mouse. Contudo, se voc tiver definido uma senha, o FIREatWORK esperar que ela seja digitada. Voc pode definir sua configurao favorita quanto ao: - tempo que o FIREatWORK esperar para acionar a proteo (1 a 999 minutos, ou no aciona); - nmero de fogos de artifcio que explodiro em conjunto (1 a 19). Para tanto, o FIREatWORK usar linha de comando, ou janela, da mesma forma que seu sistema operacional faz para mudana de data e hora do sistema. Da mesma maneira voc pode definir uma senha contendo de 6 a 45 caracteres. Feito isto, se o FIREatWORK parar aps a digitao de um caractere qualquer, ou no parar ao ser digitada a sua senha, isto indica que algo interrompeu o FiREatWORK (por exemplo, pelo desligamento da energia) e algum o reiniciou sem utilizao de senha, ou com outra diferente. Voc pode produzir cpias de segurana do programa e da configurao, atravs do seu sistema operacional. A senha no ser salva. - se voc deseja a variante para o sistema B.I.T.S. ou para o Gnome; - se voc deseja um FIREatWORK em disquete de 3 1/2 ou 5 1/4 polegadas. O pacote consiste no programa (mdulo de carga) em um disquete e um livrete de documentao, o qual inclui o guia de instalao. importante saber que: - no necessrio qualquer conhecimento especial para instalar ou usar o FIREatWORK; - as mensagens do programa e a documentao esto escritas em portugus; - o FIREatWORK est totalmente em conformidade com a NBR ISO/IEC 12119 - Tecnologia da informao - Pacotes de software - Teste e requisitos de qualidade. Servios de manuteno e de suporte para operao do produto no so fornecidos. O FIREatWORK pode ser obtido atravs de: PyroManiac Klaus P Schmidt Ltd 33 Bell Street Telefone (022) 845 3902 Borgheim, SU 53844

FiREatWORK Verso 2.6 FIREatWORK - Proteo de telas (screen saver) com utilizao de senha.
O programa FIREatWORK proteger sua tela atravs de fantstica exibio - em monitores coloridos - de fogos de artifcio, enquanto voc no estiver trabalhando com o seu computador. Se voc registrar uma senha, voc ser alertado se algum tentar utilizar o seu computador em sua ausncia.

/ANEXO C

Cpia no autorizada

NBR ISO/IEC 12119:1998

13

Anexo C (informativo) Bibliografia

ABNT ISO/IEC Guia 2:1998, Normalizao e atividades relacionadas - Vocabulrio geral. ABNT ISO/IEC Guia 16:1978, Cdigos de princpios para sistemas de certificao por terceira parte e normas relacionadas1). ABNT ISO/IEC Guia 22:1998, Critrios gerais para a declarao de conformidade pelo fornecedor.
NOTA - Esta declarao chamada atualmente de suppliers declaration. (ABNT ISO/IEC Guia 2:1998).

ISO 2382-14:1978, Data processing - Vocabulary Part 14: Reliability, maintenance and availability. ISO 2382-15:1985, Data processing - Vocabulary Part 15: Programming languages. ISO 2382-20:1990, Data processing - Vocabulary Part 20: System development. ISO 6385:1981, Ergonomic principles of the design of work systems. ISO 6592:1985, Information processing systems Guidelines for the documentation of computer-based application systems. ISO 9127:1988, Information processing systems, User documentation and cover information for consumer software packages. ISO 9241-1:1992, Visual display terminals (VDTs) used for office tasks - Ergonomic requirements - Part 1: General introduction. ISO 9241-2:1992, Visual display terminals (VDTs) used for office tasks - Ergonomic requirements - Task requirements. ISO DIS 9241-10,3) Ergonomic requirements for office work with visual display terminals (VDT)s - Dialogue principles. ISO CD 9241-11,3) Ergonomic requirements for office work with visual display terminals (VDT)s - Guidance on usability. ISO CD 9241-12,3) Ergonomic requirements for office work with visual display terminals (VDT)s - Presentation of information. ISO DIS 9241-13,3) Ergonomic requirements for office work with visual display terminals (VDT)s - User guidance. ISO DIS 9241-14,3) Ergonomic requirements for office work with visual display terminals (VDT)s - Menu dialogues. ISO DIS 9241-15,3) Ergonomic requirements for office work with visual display terminals (VDT)s - Command dialogues. ISO DIS 9241-16,3) Ergonomic requirements for office work with visual display terminals (VDT)s - Direct manipulation dialogues. ANSI/IEEE Std 610.12-1990, Glossary of software engineering terminology.

ABNT ISO/IEC Guia 23:1993, Mtodos de indicao de conformidade com normas para sistemas de certificao por terceira parte. ABNT ISO/IEC Guia 25:1993, Requisitos gerais para a capacitao de laboratrios de calibrao e de ensaios. ABNT ISO/IEC Guia 28:1993, Regras gerais para um modelo de sistema de certificao de produtos por terceira parte. ABNT ISO/IEC Guia 40:19932), Requisitos gerais para aceitao de organismos de certificao. ABNT ISO/IEC Guia 44:1993, Regras gerais para esquema de certificao internacional ISO ou IEC de produtos por terceira parte. ABNT ISO/IEC Guia 58:1993, Sistemas de credenciamento de laboratrios de calibrao e ensaios Requisitos gerais para operao e reconhecimento. NBR ISO 8402:1994, Gesto da qualidade e garantia da qualidade - Terminologia. ISO 2382-1:1993, Information technology - Vocabulary Part 1: Fundamental terms. ISO 2382-02:1976, Data processing - Vocabulary arithmetic and logic operations. ISO/IEC 2382-07:1989, Information technology Vocabulary - Part 7: Computer programming. ISO 2382-08:1986, Information processing systems Vocabulary - Part 8: Control, integrity and security. ISO 2382-10:1979, Data processing - Vocabulary Part 10: Operating techniques and facilities.

1) 2) 3)

Cancelado e substitudo pelo ABNT ISO/IEC Guia 60. Cancelado e substitudo pelo ABNT ISO/IEC Guia 65. A ser publicada.