RESUMO
O artigo tem como objetivo propor um mtodo de previso de demanda integrado que
contemple tanto sries temporais quanto fatores contextuais. Para tal, so utilizados os
modelos de suavizao exponencial, ARIMA e mdia mvel. As previses geradas pelo
mtodo quantitativo sero refinadas pelo mtodo da anlise hierrquica, AHP, incorporando
a opinio de especialistas no processo. Tais especialistas so selecionados utilizando um
indicador de consistncia proposto por Ledauphin et al. (2006). O mtodo gerou resultados
robustos quando aplicado em dados de uma concessionria de veculos.
ABSTRACT
This paper proposes a forecasting framework integrating quantitative forecasting models and
contextual factors. For that matter, we first estimate quantitative forecasting by testing the
exponential smoothing, ARIMA and moving average forecasting models. Results are refined
by the analytic hierarchy process, AHP, which incorporates experts opinions into the
analysis. Experts are selected based on the consistency index developed by Ledauphin et al.
(2006). The proposed method perfomed remarkably when applied to data from an automotive
company.
1. Introduo
1
A competitividade e o aumento da instabilidade do mercado mundial exigem que o tempo de
tomada de deciso das empresas seja reduzido constantemente. Prever a demanda uma
atividade importante, pois pode revelar as tendncias de mercado e contribuir no
planejamento estratgico da empresa (WERNER & RIBEIRO, 2003). A previso de demanda
uma ferramenta essencial para tornar o processo decisrio mais veloz e seguro. Segundo
Gaither e Fraizer (2005), necessrio que as empresas sejam capazes de prever e que essa
capacidade faa parte do planejamento dos negcios.
2
Este artigo prope um mtodo de previso de demanda integrado que busca inserir fatores
contextuais em uma previso obtida atravs de anlise quantitativa. Para isso, o histrico de
vendas da empresa coletado e analisado atravs de mtodos quantitativos de previso de
demanda. O melhor modelo selecionado com base em critrios de aderncia aos dados. Para
minimizar a chance de discrepncias das informaes oriundas dos especialistas, utiliza-se o
coeficiente , proposto por Ledauphin et al. (2006), que mede o grau de concordncia de um
especialista em relao a um grupo. Uma vez definidos os especialistas mais consistentes, a
anlise qualitativa viabilizada pela ferramenta AHP (Analytic Hierarchy Process).
2. Referencial Terico
A previso dos nveis de demanda vital para qualquer empresa, visto que proporciona
subsdios para o planejamento e controle de todas as reas (BALLOU, 2006). Gerentes
necessitam de previses de longo e curto prazo tanto para tomar decises estratgicas quanto
para responder s questes mais imediatas da empresa (GAITHER & FRAIZER, 2005).
Martins et al. (2005) definem previso de demanda como um processo metodolgico para a
determinao de dados futuros baseado em modelos estatsticos, matemticos ou
economtricos ou ainda em modelos subjetivos apoiados em uma metodologia de trabalho
clara e previamente estabelecida.
3
Mtodos quantitativos utilizam dados histricos para prever a demanda em perodos futuros.
A previso da demanda futura requer a construo de modelos matemticos a partir dos dados
que descrevem a variao da demanda ao longo do tempo. Este grupo de dados denominado
srie temporal (PELLEGRINI, 2000).
Uma alternativa para esse tipo de carncia do mtodo a mdia ponderada, onde se aplica
pesos desiguais aos dados histricos. Essa simples modificao permite que a importncia
relativa de cada perodo passado seja considerada na construo da previso (GAITHER &
FRAIZER, 2005).
4
observado retirando a sazonalidade e o erro aleatrio), a tendncia a diferena seqencial de
dois nveis consecutivos e a sazonalidade um evento que se repete com uma periodicidade
constante.
A suavizao exponencial apia-se apenas nos dados da prpria srie para fazer previses,
no necessitando de nenhuma varivel independente, tais como a inflao ou a rea
disponvel para armazenar produtos. Isto traz a vantagem da rapidez, uma vez que no
necessrio buscar ou medir outras variveis (COELHO, 2008).
Os mtodos de previso de demanda que aplicam suavizao exponencial se dividem em: (i)
suavizao exponencial simples; (ii) suavizao exponencial linear de Holt; e (iii) suavizao
exponencial de Holt-Winters (MAKRIDAKIS et al., 1998). O modelo de suavizao
exponencial simples, por exemplo, s apresenta a componente de nvel; o modelo de Holt
contempla tanto nvel como tendncia; por fim, o modelo de Holt-Winters utiliza o nvel,
tendncia e sazonalidade na modelagem (MIRANDA, 2009). Tais mtodos so melhor
descritos na sequncia.
Ft +1 = Yt + (1 ) Ft (1)
Onde F t+1 a previso para o perodo t+1, F t a previso do perodo anterior, Y t a demanda
no perodo anterior e a constante de amortecimento.
A suavizao exponencial de Holt, por sua vez, pode ser utilizada de maneira satisfatria em
sries temporais com tendncia linear (PELLEGRINI, 2000). A incorporao de um
componente de tendncia em previses exponencialmente amortecidas chamada de
exponencial mvel dupla, pois tanto as estimativas de mdia como de tendncia so
amortecidas (GAITHER & FRAIZER, 2005). A representao matemtica do modelo
expressa pelas equaes (2), (3) e (4) (MAKRIDAKIS et al., 1998).
5
Ft + k = Lt + kTt (2)
Lt = Yt + (1 )( Lt 1 + Tt 1 ) (3)
Tt = ( Lt Lt 1 ) + (1 )Tt 1 (4)
Ft + k = ( Lt + kTt ) S t s + k (5)
Y
Lt = t + (1 )( Lt 1 + Tt 1 ) (6)
St s
Tt = ( Lt Lt 1 ) + (1 )Tt 1 (7)
Y
S t = t + (1 ) S t s (8)
Lt
Ft + k = Lt + kTt + S t s + k (9)
6
Lt = (Yt S t s ) + (1 )( Lt 1 + Tt 1 ) (10)
Tt = ( Lt Lt 1 ) + (1 )Tt 1 (11)
S t = (Yt Lt ) + (1 ) S t s (12)
Segundo Box et al. (1994), so trs as fases de construo de um modelo Box-Jenkins: (i)
identificao, consiste na seleo do modelo de Box-Jenkins que melhor descreve a srie em
questo; (ii) estimao, onde so estimados os parmetros do modelo escolhido; e (iii)
verificao, quando atravs dos resduos (diferena do valor atual da srie e o valor
apresentado pelo modelo em anlise) avalia-se se o modelo proposto adequado.
Toda forma de previso de demanda possui um certo grau de subjetividade. Mesmo previses
oriundas de um sofisticado mtodo estatstico dependem de julgamento humano para ajustes
no mtodo, forma e no conjunto das variveis (GOODWIN, 2002). Entretanto, pesquisas
apontam que o julgamento humano freqentemente utilizado de forma direta para a
realizao da previso de demanda e muitas vezes no possue um rigor to grande quanto os
mtodos quantitativos (SANDERS & MANRODT, 1994).
7
os mtodos qualitativos de previso de demanda apresentados so: (i) pesquisa de intenes e
(ii) o mtodo Delphi.
Os resultados deste mtodo podem ser influenciados por trs tipos de erros: (i) erro de
amostragem; (ii) erro das respostas; e (iii) erro devido a falta de respostas. O erro de
amostragem ocorre quando a amostra no representativa. O erro das respostas ocorre
quando o entrevistado no compreende as perguntas da pesquisa ou no expressa as reais
intenes por outros motivos. E a falta de resposta acontece quando o entrevistado no
encontrado ou se negar a responder ao questionrio (ARMSTRONG apud LEMOS, 2006).
8
chegue a uma priorizao dos seus indicadores, aproximando-se de uma melhor resposta
(SAATY, 1991). Segundo Saaty (1994), o benefcio do mtodo que, como os valores dos
julgamentos das comparaes pareadas so baseados em experincia, intuio e tambm em
dados fsicos, o AHP pode lidar com aspectos qualitativos e quantitativos de um problema de
deciso.
De acordo com Saaty (1991), o AHP se sustenta em trs passos principais: (i) a construo da
hierarquia, (ii) a anlise das prioridades e (iii) a verificao da consistncia. Primeiramente, a
hierarquia construda de forma que o objetivo principal esteja no nvel primrio, critrios no
nvel intermedirio e alternativas no nvel inferior. Ento so definidas as prioridades
relativas dos elementos de cada nvel de hierarquia, utilizando os pares de comparao. Isto
pode ser efetuado usando o mtodo de autovetor principal na matriz de comparao pareada.
A proposta do AHP fornecer um vetor de pesos para expressar a importncia relativa dos
diversos elementos. O primeiro passo medir o grau de importncia do elemento de um
determinado nvel sobre aqueles de um nvel inferior pelo processo de comparao pareada
(SCHMIDT, 1995). A quantificao dos julgamentos realizada utilizando-se a escala de
valores mostrada na Tabela 1.
Tabela 1: Classificao nmerica associada s comparaes pareadas (Fonte: SAATY et al., 2003)
Saaty et al. (2003) apontam que os resultados obtidos com os julgamentos devem ser
colocados numa matriz A quadrada n x n. O nmero de julgamentos necessrios para a
construo da matriz n(n-1)/2, onde n o nmero de elementos da matriz A. Cada entrada
da matriz de comparao, a ij , deve ser considerada como uma estimativa da razo entre os
elementos da linha de ordem i e os elementos da coluna de ordem j, isto , a ij = w i /w j . A
9
multiplicao da matriz A pelo vetor de pesos w [ver equao (13)] tem como resultado nw.
Em teoria matricial, esta frmula expressa o fato de que w um autovetor de A, com
autovalores de n.
onde a ij > 0, a ij = 1, para todo i = j, a ji = 1/a ij e w o vetor que representa os pesos numricos
que refletiro os julgamentos registrados.
IC
RC = (14)
IR
(max n )
IC =
(n 1) (15)
O ndice de consistncia randmico vale-se da Tabela 1. Para cada ordem de matriz, constri-
se uma amostra de tamanho 100 e suas entradas so preenchidas randomicamente. A seguir,
10
as matrizes so calculadas e a mdia do ndice de consistncia (IC) para as 100 matrizes
correspondentes a cada valor de n obtida. A Tabela 2 mostra a ordem das matrizes e os
respectivos ndices de consistncia randmico.
Tamanho (n) 1 2 3 4 5 6 7 8 9
Por fim, convm destacar as aplicaes do AHP em cenrios de previso de demanda: Flores
et al. (1990) utilizaram o mtodo para previso de ganhos, enquanto que Korpela &
Tuominen (1996) aplicaram o AHP como ferramenta de deciso multicriterial para previso
de venda de produtos. Outras reas de aplicaes de sucesso podem ser encontradas em
Vaidya & Kumar (2006).
Embora julgamentos diretos sejam muito utilizados em previso de demanda, eles possuem
inmeras desvantagens quando comparados aos mtodos estatsticos (GOODWIN, 2002). A
mente humana tem uma capacidade de processamento de informaes limitada, e a viso
predominante que as pessoas utilizam estratgias mentais simplificadas, chamadas
heursticas, para lidar com a complexidade envolvida no processo de previso de demanda
(BOLGER & HARVEY, 1996).
Desta forma, sempre que o julgamento humano utilizado como ferramenta de deciso,
necessrio garantir a confiabilidade das opinies. Ledauphin et al. (2006) propem um
coeficiente () que quantifica quo bem as opinies de um especialista se relacionam com as
opinies de um grupo. Este coeficiente varia entre -1 e 1, sendo que -1 significa que o
especialista em questo est em total desacordo com o grupo, e 1 significa que o especialista
est em plena concordncia com o grupo. O coeficiente obtido atravs de operaes
matriciais e a utilizao do conceito de autovetor, sendo apresentado pela equao (16).
=
( )T
trao Y i C
(16)
trao(C C )
T
11
onde Y i a matriz de opinies centralizada associada ao especialista i e C a matriz de
configurao mdia ponderada. Para maiores detalhes, consulte Ledauphin et al. (2006).
3. Procedimentos Metodolgicos
3.1. Verificao da existncia de dados, seleo dos especialistas e definio dos itens
analisados
Esta etapa consiste em verificar a disponibilidade dos dados para modelagem. Para a anlise
quantitativa so necessrios dados histricos da demanda. Para a obteno das informaes
pertinentes anlise qualitativa, necessrio verificar a disponibilidade e nvel de
conhecimento de especialistas na rea de previso de demanda. Nesta etapa tambm
realizada a escolha dos produtos a serem modelados, com base na opinio de especialistas da
rea. Devem ser priorizados produtos considerados representativos ou com maiores
dificuldades quanto reposio.
Aqui so coletados os dados histricos de venda mensais dos itens escolhidos na seo 3.2.
Os dados histricos podem ser analisados graficamente, auxiliando na identificao de
padres, tendncias, e sazonalidades na srie temporal. Estes grficos tambm podem auxiliar
12
os especialistas durante o preenchimento da matriz de comparao pareada da metodologia
AHP (explicada na sequncia). Um modelo de previso ento ajustado aos dados histricos,
e sua aderncia avaliada por critrios como R e mdia dos erros quadrados. A modelagem
realizada atravs do software NCSS 2007.
Nesta etapa o conhecimento dos especialistas da empresa empregado para fornecer fatores
relevantes e no contemplados pelo processo preditivo do item em questo. Exemplos de
fatores incluem aspectos de poltica da empresa, peculiaridades fsicas dos itens a serem
modelados e aspectos ambientais, entre outros. Uma vez definidos os fatores, os especialistas
so incentivados a classific-los em uma escala de 1 a 10, sendo que 1 significa reduzida
representatividade do fator para a variao do comportamento da demanda. Em contrapartida,
o valor 10 representa que o fator de extrema importncia para descrever a flutuao da
demanda.
13
3.3.3. Definio da importncia relativa dos fatores atravs do AHP
O vetor de prioridades w a ser utilizado no clculo do ndice consolidado Y dado pela mdia
ponderada dos vetores w i e dos coeficientes i (equao 17).
( 1 w1 ) + ( 2 w2 ) + + ( n wn )
w=
1 + 2 + + n (17)
Nesta etapa os entrevistados indicam sua opinio a respeito da intensidade com que o
respectivo fator atuar na demanda no prximo perodo. Por exemplo, incentivo fiscal pode
ser um fator que possua uma importncia elevada, mas poder receber um peso de atuao
baixo caso no existam indicativos de que tal fator acontecer no prximo perodo. Um vetor
de intensidade I ento preenchido com a mdia aritmtica das opinies dos entrevistados.
Esta etapa consiste em calcular o ndice consolidado Y com vistas ao ajuste da previso de
demanda obtida pelo mtodo quantitativo, atravs da Eq. (18).
( ) ( ) (
Y = w1 I1 + w2 I 2 + + wn I n ) (18)
14
Por fim, o ndice consolidado utilizado para ajustar a previso obtida pelo mtodo
quantitativo. Na operacionalizao, multiplicam-se os valores da previso quantitativa pelo
ndice Y, conforme a Eq. (19):
P final = Pquantitativa (1 + Y )
(19)
4. Estudo de caso
Para efetivar o estudo, foram entrevistados cinco funcionrios da empresa que trabalham
diretamente com atividades relacionadas reposio e estocagem de peas automotivas.
Destes cinco funcionrios, trs esto ligados ao setor de compras e dois atuam no
gerenciamento do estoque fsico. A escolha deste grupo de entrevistados foi determinada pelo
grau de envolvimento e familiaridade com a atividade de previso de demanda e os possveis
fatores que atuam na sua variabilidade. As opinies coletadas so utilizadas na definio dos
itens analisados e na anlise qualitativa da previso.
15
Os dados histricos de vendas de peas foram coletados do banco de dados do software de
previso de demanda da empresa. Para o estudo de caso foram selecionadas as ltimas 32
observaes, correspondendo ao perodo de janeiro de 2008 at agosto de 2010. Estes dados
so utilizados para gerar a previso quantitativa sugerida pelo mtodo.
A srie temporal com as 32 observaes foi ajustada a sete mtodos distintos: as mdias
mveis de trs (M-3), seis (M-6) e doze meses (M-12); as suavizaes exponenciais simples
(SES), de Holt e Holt-Winters (H-W); e o modelo ARIMA.
Uma vez ajustados os modelos utilizando o NCSS 2007, comparou-se o MAPE (mdia dos
erros percentuais absolutos) de cada um dos sete modelos testados. O MAPE uma das
medidas de aderncia utilizadas para avaliao dos mtodos de previso, e baseia-se na
diferena entre o valor da srie e a previso para o mesmo perodo. Quanto menor o MAPE,
melhor a qualidade da modelagem. Na Tabela 3, apresentado o MAPE para cada um dos
mtodos aplicados.
16
Verifica-se que o mtodo de Holt-Winters apresenta o menor valor dentre todas as tcnicas de
modelagem, sendo escolhido para modelar a srie temporal. A srie temporal e as previses
(em valores absolutos) fornecidas pelo mtodo so apresentadas na Figura 2.
A partir desta etapa o conhecimento dos especialistas utilizado para introduzir fatores
qualitativos na previso quantitativa previamente selecionada.
Seguindo este raciocnio foram selecionados oito fatores a serem analisados na etapa seguinte
do mtodo, valendo-se de brainstorming: (i) indicadores socioeconmicos; (ii) ndice de
acidentes de trnsito do trimestre; (iii) confiabilidade da marca; (iv) aes de marketing; (v)
poltica de preos; (vi) demanda de veculos novos; (vii) incentivos fiscais; e (viii)
lanamento de novo modelo de veculo. Estes fatores foram selecionados por contemplar
informaes diversas do ambiente da empresa. Outra caracterstica importante que os
fatores trabalham tanto com variveis que podem ser controladas pela empresa (aes de
marketing e poltica de preos) quanto variveis aleatrias (ndices de acidentes e indicadores
socioeconmicos), que escapam do controle da instituio. O levantamento das informaes
17
dos quatro primeiros fatores obtido atravs de anlises repassadas pela montadora. O
restante das informaes so levantadas pela prpria concessionria.
Esta primeira classificao fornece subsdios para definir quais avaliadores esto melhor
preparados para tomar parte do processo de ajuste da previso de demanda. A finalidade
deste passo garantir consistncia ao mtodo proposto.
Foram selecionados os avaliadores que possuem um superior 0.7, fazendo com que os
avaliadores 1, 3 e 5 tenham suas avaliaes mantidas para as prximas etapas do mtodo.
18
Para que os fatores possam efetivamente ajustar a demanda, se faz necessrio que sejam
definidos seus pesos relativos de atuao. O mtodo de anlise hierrquica, AHP, capaz de
formalizar uma hierarquia dos fatores mais relevantes ao contexto da empresa.
Os valores do grau de inconsistncia (RC) de cada matriz retornados pelo software esto
dentro da faixa recomendada por Saaty (1991). O RC da matriz AV1 foi 0,09, a matriz AV3
recebeu 0,08 e a matriz AV5 obteve RC igual a 0.07, conforme apresentado no Apndice A.
A sada destas matrizes so vetores de priorizao (w) contendo a importncia relativa de
cada fator para a flutuao da demanda.
19
Figura 3: O vetor mdio ponderado classificado em ordem decrescente de importncia
Valendo-se tanto das anlises disponibilizadas pela montadora quanto dos levantamentos
feitos pela prpria empresa, os avaliadores agora quantificam a atuao de cada um dos
fatores de variao da demanda para o prximo perodo. A Tabela 7 mostra a opinio de cada
avaliador e a mdia aritmtica simples destas opinies.
Esta quantificao tem como objetivo definir quanto e como os respectivos fatores esto
contribuindo para a variabilidade da demanda. Por exemplo, o fator ndice de acidentes ir
atuar de forma a aumentar a demanda em 21,67% no prximo perodo. J o fator de
incentivos fiscais, segundo a opinio dos avaliadores, ir diminuir a demanda em 10%. Vale
20
ressaltar que, neste estudo, todos os avaliadores entendem que o fator Confiabilidade da
marca no influencia na demanda para o prximo perodo.
Nesta etapa define-se Y, que representa o ajuste qualitativo. Para isso so utilizados o vetor
mdio ponderado de priorizao e o vetor de intensidade mdia obtidos anteriormente. A
operacionalizao dada pela multiplicao dos componentes dos respectivos vetores. A
Tabela 8 mostra os valores do ndice de ajuste.
21
Figura 4: Comparao das previses
Tabela 9: Comparao das previses pontuais quantitativas e ajustadas pelo mtodo proposto
Holt-Winters Mtodo proposto
Sep-10 13.383 15.004
Oct-10 17.167 19.246
Nov-10 19.285 21.620
Dec-10 13.794 15.465
Jan-11 32.285 36.195
Feb-11 16.638 18.653
Mar-11 13.537 15.176
Apr-11 11.384 12.762
May-11 12.743 14.287
Jun-11 14.288 16.019
Jul-11 20.305 22.764
Aug-11 10.609 11.894
5. Concluso
A previso de demanda se tornou uma etapa essencial para o planejamento das empresas,
fornecendo informaes importantes para a tomada de deciso. A partir da previso de
demanda a instituio pode estabelecer uma base slida para nortear suas decises e tratar
eventuais problemas.
22
Neste artigo apresentou-se uma metodologia para obteno de previses de demanda atravs
de fatores quantitativos e qualitativos. O mtodo foi desenvolvido motivado pela necessidade
de fazer bom uso de todas as informaes disponveis s empresas. Baseando-se em uma
metodologia de cinco etapas, as sries temporais foram modeladas atravs de mtodos
quantitativos reconhecidos pela literatura. A definio do modelo quantitativo baseou-se na
mdia dos erros percentuais absolutos (MAPE).
Com base nos resultados deste trabalho, percebe-se que o mtodo proposto de previso de
demanda traz vantagens na compreenso da composio das previses pontuais, pois so
baseadas na previso quantitativa e na classificao fatores qualitativos. Como proposta para
estudos futuros, este artigo indica a verificao da atuao do chamado efeito chicote na
seleo dos fatores qualitativos utilizados no mtodo da anlise hierrquica.
23
REFERNCIAS
ANTON, H.; RORRES, C. lgebra linear com aplicaes 8 ed Porto Alegre: Bookman,
2001.
BOX, G. E. P.; JENKINS, G. M.; REINSELL, G. C. Time series analysys: forecasting and
control. Prentice Hall. New Jersey, 1994.
24
LEMOS, F. O. Metodologia para Seleo de Mtodos de Previso de Demanda. Dissertao
(Mestrado Profissionalizante em Engenharia) Departamento de Engenharia de Produo e
Transportes. Porto Alegre - Universidade Federal do Rio Grande do Sul, 2006.
KORPELA J.; TUOMINEN M. Inventory forecasting with a multiple criteria decision tool.
International Journal of Production Economics, n. 45, pp. 159168, 1997.
25
SAATY, T. L.; VARGAS L. G.; DELLMANN K. The allocation of intangible resources: the
analytic hierarchy process and linear programming. Socio-Economic Planning Sciences, v.
37, n. 3, pp. 169-184, 2003.
WERNER, L.; RIBEIRO, J. L. D. Previso de demanda: uma aplicao dos modelos Box-
Jenkins na rea de assistncia tcnica de computadores pessoais. Revista Gesto &
Produo, v. 10, n. 1, p. 47-67, 2003.
YAO, Y.; LIAN, Z.; LIU S.; HOU, Z. Hourly cooling load prediction by a combined
forecasting model based on analytic hierarchy process. International Journal of Thermal
Science, n. 43, pp. 1107-1118, 2004.
26
APNDICE A
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
Indicadores socioeconmicos (1) 1 1/7 1/9 1 1/3 1/5 2 1
ndices de acidentes de trnsito do trimestre (2) 1 1/5 7 5 5 9 5
Poltica de preos (prpria concorrente) (3) 1 7 5 5 7 5
Confiabilidade da marca (4) 1 1/3 1/5 3 1
Aes de marketing (5) 1 1 5 3
Demanda de veculos novos (6) 1 7 5
Incentivos fiscais (reduo de IPI) (7) 1 5
Lanamento de novo modelo de veculo (8) 1
(2)
(3)
(4)
(5)
(6)
(7)
(8)
Indicadores socioeconmicos (1) 1 1/5 1/4 1/6 5 3 1/3 1
ndices de acidentes de trnsito do trimestre (2) 1 1 4 7 7 4 5
Poltica de preos (prpria concorrente) (3) 1 3 6 5 3 1
Confiabilidade da marca (4) 1 4 4 1 3
Aes de marketing (5) 1 1/2 1/5 1/4
Demanda de veculos novos (6) 1 1/3 1/2
Incentivos fiscais (reduo de IPI) (7) 1 1
Lanamento de novo modelo de veculo (8) 1
(2)
(3)
(4)
(5)
(6)
(7)
(8)
27