Anda di halaman 1dari 26

Manual de

configuracin y
resolucin de
incidencias

Urbanismo en Red
Pg. 1 de 26

CONTROL DOCUMENTAL
Proyecto:
Ttulo:
Versin:
Fecha edicin:
Archivo:
Autor(es):
Resumen:

PROGRAMA DE URBANISMO EN RED


Manual de Consola
1.0
04/08/2014
Manual_config_resoluc_inc_v1.0.docx
Alfonso Saiz
Instrucciones de servicio y solucin de incidencias.

CONTROL DE CAMBIO DE VERSIN


Versin
1.0

Fecha
12/06/2014

Mdulos
N/A

Descripcin del cambio


Creacin del manual

Urbanismo en Red
Pg. 2 de 26

NDICE
Control Documental ...................................................................................................................... 2
Control de cambio de versin ....................................................................................................... 2
ndice ............................................................................................................................................. 3
1.

2.

3.

4.

5.

Manual de Configuracin ...................................................................................................... 5


1.1.

Sistema Operativo ......................................................................................................... 5

1.2.

Scripts de arranque y parada ........................................................................................ 5

1.3.

Ficheros a considerar .................................................................................................... 5

1.4.

Desactivar actualizaciones automticas ....................................................................... 7

POSTGRESQL ......................................................................................................................... 8
2.1.

Ficheros a considerar .................................................................................................... 8

2.2.

Arranque/Parada........................................................................................................... 8

2.3.

Trazas ............................................................................................................................ 8

JBOSS ..................................................................................................................................... 9
3.1.

Ficheros a considerar .................................................................................................... 9

3.2.

Arranque/Parada........................................................................................................... 9

3.3.

Trazas ............................................................................................................................ 9

3.4.

Aplicativos ................................................................................................................... 10

ALTA DISPONIBILIDAD (KEEPALIVED + LVS + HAPROXY) ..................................................... 11


4.1.

KEEPALIVED ................................................................................................................. 11

4.2.

HAPROXY ..................................................................................................................... 12

4.3.

Activacin de trazas HAProxy ...................................................................................... 12

SINCRONIZAR NODOS ......................................................................................................... 13


5.1.

6.

Programacin de la sincronizacin.............................................................................. 13

DRDB.................................................................................................................................... 14
6.1.

Trazas .......................................................................................................................... 14

6.2.

Estado actual ............................................................................................................... 15

6.3.

Situacin split-brain..................................................................................................... 15

7.

HEARTBEAT.......................................................................................................................... 16

8.

Actuaciones tipo INCIDENCIAS HARDWARE ..................................................................... 16


8.1.

Problemas de la fuente de alimentacin .................................................................... 16

8.2.

Problemas de alimentacin......................................................................................... 16

8.3.

El disco duro falla ........................................................................................................ 16

Urbanismo en Red
Pg. 3 de 26

8.4.

Los discos duros no se reconocen ............................................................................... 17

8.5.

El servidor no reconoce una unidad de disco duro ..................................................... 17

8.6.

Problemas generales en la memoria ........................................................................... 17

8.7.

Se produce un error de recuento de memoria ........................................................... 17

8.8.

El servidor no reconoce la memoria existente............................................................ 17

8.9.

Problemas de los procesadores .................................................................................. 18

9.

Actuaciones tipo INCIDENCIAS SOFWARE ........................................................................ 19


9.1.

No se puede conectar al Visor/Consola ...................................................................... 19

9.2.

No se puede acceder/validarse en la Consola ............................................................ 19

9.3.

Las capas de planeamiento no se cargan .................................................................... 19

9.4.

No se visualizan los datos del registro en el Visor ...................................................... 19

9.5.

No se visualizan los planos georreferenciados en el Visor.......................................... 19

9.6. La ficha urbanstica, los documentos, no cargan o fallo en la autenticacin de la


consola .................................................................................................................................... 19
9.7.

Cambio de configuracin de red ................................................................................. 20

9.8.

El sistema Apache no inicia ......................................................................................... 21

9.9.

Realizacin de copias de seguridad ............................................................................. 21

9.10.

Restauracin desde copias de seguridad ................................................................ 22

9.11.

Restauracin de ltimas copias de bases de datos ................................................. 22

9.12.

Verificacin de servicios .......................................................................................... 23

10.

PLAN DE APAGADO Y ENCENDIDO DEL SISTEMA ............................................................ 24

10.1.

Apagado y encendido de una instalacin dos nodos .............................................. 24

10.2.

Apagado y encendido de una instalacin cuatro nodos ......................................... 24

11.

CONEXIN SSH ................................................................................................................ 25

11.1.
12.

Configuracin PuTTY ............................................................................................... 25

INFORMACIN PROGRAMA URBANISMO EN RED.......................................................... 25

Urbanismo en Red
Pg. 4 de 26

1. Manual de Configuracin
Podr encontrar los usuarios y contraseas para acceder al sistema operativo, tanto
en el manual de instalacin como en el Informe Tcnico - Plan de Pruebas de
la implantacin de la solucin SW en su EL.

1.1.

Sistema Operativo

Se utilizar como sistema operativo Ubuntu 10.0.4 LTS Server, una distribucin
Linux basada en Debian. Se instalar la versin Server de Ubuntu. La versin de
kernel implementada es la 2.6.32-33-server.
Todas las tareas de instalacin/verificacin incluidas en este documento, se
realizarn con el usuario root.

1.2.

Scripts de arranque y parada

Directorio donde se indican los programas a ejecutar en el arranque de la mquina.


/etc/init.d

1.3.

Ficheros a considerar

/etc/hosts

/etc/hostname

/etc/network/interfaces

Fichero que se corresponde con la tabla esttica de bsqueda de


hostnames.
127.0.0.1 localhost
WWW.XXX.YYY.ZZZ <urb01>
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
Se tendrn que establecer los valores siguientes:
IP (WWW.XXX.YYY.ZZZ) y nombre de la mquina (<urbr01>)
Ejemplo
127.0.0.1 localhost
10.99.59.17 urbmodop1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
Nombre de host del sistema.
Se tendr que editar y establecer el valor deseado
Ejemplo
Urbmodop1
Es el archivo que contiene la configuracin de las interfaces de red es
y contendr una seccin por cada interfaz de red a configurar. Veamos
cmo se configuran las interfaces de red ms habituales:
Loopback o interfaz de retorno: direccin IP 127.0.0.1. El archivo
/etc/network/interfaces incluir la seccin:
auto lo
iface lo inet loopback

Urbanismo en Red
Pg. 5 de 26

/etc/udev/rules.d/70persistent-net.rules

Ethernet: el archivo /etc/network/interfaces incluir lneas similares a:


auto eth0
iface eth0 inet static
address 192.168.0.2
netmask 255.255.255.0
network 192.168.0.0
broadcast 192.168.0.255
gateway 192.168.0.1
Los parmetros son:
static: IP esttica. Si en la LAN hay un servidor DHCP y
tenemos IP dinmica, pondremos dhcp.
address (direccin IP de la mquina en la LAN): cada interfaz
de red conectada a una red IP es identificada por una IP nica
de cuatro bytes (32 bits). El rango de IPs reservadas para LAN
es de 192.168.0.0 a 192.168.255.255
netmask (mscara de red de la LAN): es un nmero que
establece qu parte de la IP de un host corresponde a la red y
qu parte corresponde a la mquina. Tambin nos indica la
cantidad mxima de equipos que podemos tener en nuestra
red.
network (direccin IP de la LAN): es la parte de la IP de la
mquina comn a todas las mquinas de la red.
broadcast (direccin de difusin): es la IP a la que se mandan
los paquetes que deben recibir todas las mquinas de la LAN.
Todas las mquinas de la red escuchan la direccin de
broadcast adems de la suya propia.
gateway (direccin de pasarela o puerta de enlace): es la IP
de la mquina de nuestra LAN a travs de la cual salimos
hacia el exterior. Un gateway es una mquina que tiene dos
intefaces de red (una tarjeta conectada a nuestra LAN y la otra
conectada a una red exterior), cada una de ellas con una IP, la
que le corresponda en esa red. La IP del gateway suele ser la
primera IP disponible
(192.168.1.1) o la ltima (192.168.1.254).
Ejemplo
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto eth1
iface eth1 inet static
address 10.99.59.17
netmask 255.255.255.128
network 10.99.59.0
broadcast 10.99.59.127
gateway 10.99.59.2
# dns-* options are implemented by the resolvconf package, if
installed
dns-nameservers 195.235.81.11 195.235.81.12
auto eth2
iface eth2 inet dhcp
Eliminar este archivo tras la restauracin desde disco maestro.
Udev es una coleccin de herramientas y un demonio para gestionar
eventos recibidos desde el ncleo (kernel) y manejarse con ellos en el
espacio de usuario. Fundamentalmente esto implica crear y eliminar
nodos del dispositivo en /dev cuando se descubre o elimina hardware
del sistema.

Urbanismo en Red
Pg. 6 de 26

/etc/profile
/etc/environment
/etc/apt/apt.conf

/etc/resolv.conf

/etc/ssh/sshd_config

1.4.

Los eventos se reciben va mensajes del kernel y procesados de


acuerdo con las reglas indicadas en el directorio /lib/udev/rules.d,
cambiando el nombre de dispositivo, creando vnculos simblicos
adicionales o llamando a otras herramientas y programas incluyendo
aquellos para cargar mdulos del kernel o inicializar dispositivo.
Ejemplo
# PCI device 0x8086:0x105e (e1000e)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",
ATTR{address}=="00:26:55:d7:7d:82",
ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*",
NAME="eth1"
# PCI device 0x8086:0x10c9 (igb)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",
ATTR{address}=="f4:ce:46:80:2c:bf",
ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*",
NAME="eth3"
# PCI device 0x8086:0x105e (e1000e)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",
ATTR{address}=="00:26:55:d7:7d:83",
ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*",
NAME="eth2"
# This file was automatically generated by the
/lib/udev/write_net_rules
# program, run by the persistent-net-generator.rules rules file.
#
# You can modify it, as long as you keep each rule on a single
# line, and change only the value of the NAME= key.
# PCI device 0x8086:0x10c9 (igb)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",
ATTR{address}=="f4:ce:46:80:2c:be",
ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*",
NAME="eth0"
Verificar si aparecen las variables http-proxy y https-proxy y verificar
sus valores.
Verificar si aparecen las variables http-proxy y https-proxy y
verificar/modificar sus valores adecuadamente a la instalacin.
Acquire::http::Proxy "http://10.99.59.114:8080/";
Verificar si aparecen las variables http-proxy y https-proxy y verificar
sus valores.
Fichero de configuracin para resolver direcciones por DNS.
nameserver 80.58.61.250
nameserver 80.58.61.254
Inhabilitar login remoto de root.
PermitRootLogin no

Desactivar actualizaciones automticas

En fichero /etc/hosts incluir


# desactivar actualizaciones automaticas
127.0.0.1 es.archive.ubuntu.com
127.0.0.1 security.ubuntu.com
Adicionalmente cambiar a 444 los permisos del archivo apt de /etc/cron.daily

Urbanismo en Red
Pg. 7 de 26

2. POSTGRESQL
El directorio de instalacin es POSTGRES_HOME=/pg_data
Usuario
Contrasea
Postgres
XXXXX
La contrasea para acceder a PostgreSQL, viene definida tanto en el manual de
instalacin como en el Informe Tcnico - Plan de Pruebas

El script de arranque parada se encuentra en /etc/init.d y se llama postgresql-8.X

2.1.

Ficheros a considerar

Los ficheros de configuracin se encuentran en $POSTGRES_HOME/PostgreSQL/8.X/data y


los principales son:
pg_hba.conf
Direccionamientos permitidos para el acceso a las bases de datos
# IPv4 local connections:
host all all 127.0.0.1/32 md5
host all all 10.99.59.0/32 trust
host all all 0.0.0.0 0.0.0.0 md5
# IPv6 local connectionsss
host all all ::1/128 md5
pg_ident.conf
Fichero que gestiona el mapeo de nombre de usuario, bsicamente
se encarga de relacionar los nombres de usuario externos con los
nombres de usuario internos de Postgres.
postgresql.conf
Fichero de configuracin de PostgreSQL
Establecer las siguientes asignaciones:
listen_addresses = '*'
add_missing_from = on
psql-history
Fichero de histrico de postgresSQL deber tener permisos 755
-rwxrwxrwx 1 root root 72 2010-08-10 10:15 .psql_history

2.2.

Arranque/Parada

Postgres se tendr que arrancar automticamente en la mquina que acte como primaria en
la instalacin. No obstante y para la resolucin de problemas puede ser necesario el arranque /
parada manual.
Arranque
El arranque debe realizarse como superusuario (root) y para
hacerlo se utilizar el siguiente comando desde el prompt del
sistema:
sudo /etc/init.d/postgresql-8.X start
Parada
La parada debe realizarse como superusuario (root) y para hacerlo
se utilizar el siguiente comando desde el prompt del sistema:
sudo /etc/init.d/postgresql-8.X stop

2.3.

Trazas

Los ficheros de log se encuentran en $POSTGRES_HOME/PostgreSQL/8.X/data/pg_log

Urbanismo en Red
Pg. 8 de 26

3. JBOSS
Los scripts de arranque y parada se encuentran en /etc/init.d y se llaman jboss y jboss-web
(instancia geoserver).

3.1.

Ficheros a considerar

Hay que verificar la direccin IP de los interfaces management y public, siendo la misma
que el servidor:
root@urbr::/urbr/app/jboss7/standalone/configuration# nano
standalone.xml

<subsystem xmlns="urn:jboss:domain:ejb3:1.1" lite="true">


<session-bean>
<stateless>
.
.<interfaces>
<interface name="management">
<inet-address
value="${jboss.bind.address.management:<IP_SERVIDOOR>}"/>
</interface>
<interface name="public">
<inet-address value="${jboss.bind.address: <IP_SERVIDOOR>}"/>
</interface>
</interfaces>

3.2.

Arranque/Parada

Arranque

/etc/init.d/jboss start
/etc/init.d/jboss-web start

Parada

/etc/init.d/jboss stop
/etc/init.d/jboss-web stop

3.3.

Trazas

La ruta de los ficheros de log es $JBOSS_HOME/Server/default/log y los ficheros son:


boot.log
El fichero boot.log se genera cada vez que se arranca jboss.
server.log
El arranque de Jboss lleva un tiempo (aproximadamente un minuto)
y se puede monitorizar viendo las entradas que genera en el fichero
console.log
server.log o console.log.
Mediante la instruccin tail f server.log se podr ir siguiendo el
arranque.
ps -ef | grep jboss | grep -v grep

Urbanismo en Red
Pg. 9 de 26

3.4.

Aplicativos

Desde la consola de JBOSS (http://<IP_SERVIDOR>:8080), revisar que los aplicativos se estn


ejecutando correctamente.

Urbanismo en Red
Pg. 10 de 26

4. ALTA DISPONIBILIDAD (KEEPALIVED + LVS +


HAPROXY)
4.1.

KEEPALIVED

Instalacin
Script de
arranque/parada
Fichero de
configuracin

Procesos

KEEPALIVED_HOME=/etc/keepalived
/etc/init.d/ con el nombre keepalived
$KEEPALIVED_HOME con el nombre
keepalived.conf
Verificacin de
#configuracion Global
global_defs {
notification_email {
alertas@midominio.com
}
notification_email_from
balanceador1@midominio.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
lvs_id LVS_MASTER
}
vrrp_script chk_haproxy { # Requires
keepalived-1.1.13
script "killall -0 haproxy" # cheaper
than pidof
interval 2 # check every 2 seconds
weight 2 # add 2 points of prio if OK
}
vrrp_instance wasIntranet {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
wdog-vrrp 1
virtual_ipaddress {
192.168.12.125/24
}
track_script {
chk_haproxy
}
}
/usr/sbin/keepalived

$KEEPALIVED_HOME con el nombre


keepalived.conf
Verificacin de
#configuracion Global
global_defs {
notification_email {
alertas@midominio.com
}
notification_email_from
balanceador1@midominio.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
lvs_id LVS_BACKUP
}
vrrp_script chk_haproxy { # Requires
keepalived-1.1.13
script "killall -0 haproxy" # cheaper
than pidof
interval 2 # check every 2 seconds
weight 2 # add 2 points of prio if OK
}
vrrp_instance wasIntranet {
state BACKUP
interface eth0
virtual_router_id 51
priority 100
advert_int 1
wdog-vrrp 1
virtual_ipaddress {
192.168.12.125/24
}
track_script {
chk_haproxy
}
}

Urbanismo en Red
Pg. 11 de 26

4.2.

HAPROXY

El haproxy proporciona balanceo a la alta disponibilidad proporcionada por


keepalived.
Instalacin
HAPROXY_HOME=/etc/haproxy
Script de arranque/parada
/etc/init.d/ con el nombre haproxy
Fichero de configuracin
$HAPROXY_HOME con el nombre haproxy.cfg
Verificacin de la IP address
Se encuentra en el directorio /etc/haproxy
global
log 127.0.0.1 local0
log 127.0.0.1 local1 notice
listen LoadBalancer XX.XX.XX.XX:80
server Servidor1 XX.XX.XX.XX:8080 cookie A check
server Servidor2 XX.XX.XX.XX:8080 cookie B check
listen LoadTomcat XX.XX.XX.XX:82
server Servidor1 XX.XX.XX.XX:8081 cookie A check
server Servidor2 XX.XX.XX.XX:8081 cookie B check
listen LoadMapserver XX.XX.XX.XX:83
server Servidor1 XX.XX.XX.XX:88 cookie A check
server Servidor2 XX.XX.XX.XX:88 cookie B check
Se configura para realizar balanceo http entre los apaches de dos servidores y
persistencia de sesin. El algoritmo de asignacin es roundrobin (reparto al 50%)
y se ha establecido persistencia de sesin mediante insercin de cookie.
ps -ef | grep keepalived | grep -v grep
ps -ef | grep haproxy | grep -v grep

4.3.

Activacin de trazas HAProxy

haproxy.cfg

/etc/rsyslog.d
/etc/rsyslog.d

/etc/logrotate.d/haproxy

En fichero haproxy.cfg
global
.
log /dev/log local0
log /dev/log local1 notice
Entrada en 50-default.conf
*.*;auth,authpriv.none,local0,local1.none -/var/log/syslog
Crear fichero haproxy.cfg con el contenido siguiente:
if ($programname == 'haproxy' and $syslogseverity-text
== 'info') then /var/log/haproxy/haproxy-info.log
if ($programname == 'haproxy' and $syslogseverity-text
== 'notice') then /var/log/haproxy/haproxy-notice.log
Crear /etc/logrotate.d/haproxy con el contenido siguiente:
/var/log/haproxy/*.log {
weekly
missingok
rotate 7
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
postrotate
/etc/init.d/haproxy reload > /dev/null

Urbanismo en Red
Pg. 12 de 26

endscript
}
Crear directorio /var/log/haproxy
/etc/init.d/rsyslogd reload
/etc/init.d/haproxy reload

5. SINCRONIZAR NODOS
Desde directorio : /usr/jboss/build/output/var/ ejecutamos la siguiente instruccin
/usr/bin/rsync -rauvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
/usr/jboss/build/output/var/*
root@urbrmoda2:/usr/jboss/build/output/var/

5.1.

Programacin de la sincronizacin

En nodo1 y con usuario root se lanza la instruccin crontab -e


Mediante el editor dejamos el archivo como sigue:
# m h dom mon dow command
*/1 7-22 * * * /usr/bin/rsync -rauvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
/usr/jboss/build/output/var/* root@urbrmoda2:/usr/jboss/build/output/var/
*/1 7-22 * * * /usr/bin/rsync -rauvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
root@urbrmoda2:/usr/jboss/build/output/var/* /usr/jboss/build/output/var/
*/1 7-22 * * * /usr/bin/rsync -rauvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
/usr/jboss/build/output/conf/* root@urbrmoda2:/usr/jboss/build/output/conf/
*/1 7-22 * * * /usr/bin/rsync -rauvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
root@urbrmoda2:/usr/jboss/build/output/conf/* /usr/jboss/build/output/conf/
*/1 7-22 * * * /usr/bin/rsync -ruvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
/usr/jboss/build/output/jboss5.1.0.GA/server/web/deploy/geoserver.war/data/styles/*
root@urbrmoda2:/usr/jboss/build/output/jboss5.1.0.GA/server/web/deploy/geoserver.war/data/styles/
*/1 7-22 * * * /usr/bin/rsync -ruvz -e 'ssh -i /root/.ssh/id_urbrmoda1'
root@urbrmoda2:/usr/jboss/build/output/jboss5.1.0.GA/server/web/deploy/geoserver.war/data/styles/*
/usr/jboss/build/output/jboss5.1.0.GA/server/web/deploy/geoserver.war/data/styles/
El significado de */1 7-22 * * * es el siguiente
*/1 Ejecucin cada minuto
7-22 Entre 7 y 22 horas
* Cualquier da del mes
* Cualquier mes
* Cualquier da de la semana

Urbanismo en Red
Pg. 13 de 26

6. DRDB
Script de arranque/parada
Fichero de configuracin

Procesos

6.1.

/etc/init.d/ con el nombre drbd


service drdb start/stop
/etc con el nombre drbd.conf
resource r0 {
protocol C;
# incon-degr-cmd "halt -f";
startup {
degr-wfc-timeout 120; # 2 minutes.
}
disk {
on-io-error detach;
}
net {
}
syncer {
rate 10M;
# group 1;
al-extents 257;
}
on urbrmoda1 {
device /dev/drbd0;
disk /dev/cciss/c0d0p3;
address XX.XX.XX.XX:7788;
# meta-disk /dev/sda7[0];
meta-disk internal;
}
on urbrmoda2 {
device /dev/drbd0;
disk /dev/cciss/c0d0p3;
address XX.XX.XX.XX:7788;
# meta-disk /dev/sda7[0];
meta-disk internal;
}
}
root 1398 2 0 00:36 ? 00:00:00 [drbd0_worker]
root 1410 2 0 00:36 ? 00:00:00 [drbd0_receiver]
root 1851 2 0 00:38 ? 00:00:00 [drbd0_asender]

Trazas

Fichero drbd
Ficheros kern.log y syslog del
sistema
Visualizar la sincronizacin

/proc muestra el estado actual de sincronizacin y


rol de la mquina (Primaria/Secundaria)
ubicados en /var/log/
watch -n 1 cat /proc/drbd

Urbanismo en Red
Pg. 14 de 26

6.2.

Estado actual

watch cat /proc/drbd


Every 2,0s: cat /proc/drbd
Sat Aug 21 19:27:39 2010
version: 8.3.7 (api:88/proto:86-91)
GIT-hash: ea9e28dbff98e331a62bcbcc63a6135808fe2917 build by
root@urbrmoda2, 2010-08-16 10:33:46
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r---- ns:43280
nr:0 dw:43280 dr:13853 al:30 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
ps -ef | grep drbd | grep -v grep

6.3.

Situacin split-brain

Adems de en el instante inicial, pueden surgir ocasiones en que los nodos de


DRBD queden en un estado inconsistente al no estar sincronizados por una prdida
temporal de comunicacin. Generalmente DRBD es capaz de resolver el problema
en estos casos, pues en los metadatos almacena qu sectores han sido modificados
desde la prdida de comunicacin y por tanto, qu sectores deben ser
sincronizados.
Sin embargo, existe un caso especial en que este proceso automtico no es posible,
y es cuando ambos nodos quedan sin comunicacin entre s, ambos adquieren el
papel de primarios y realizan modificaciones en los sistemas de ficheros, pues en
estos casos puede suceder que ambos discos tengan sectores modificados que
coincidan, desconociendo DRBD que datos son los que debe considerar como
correctos y por tanto usar para la sincronizacin. Si en uno de estos casos
comprobamos el estado del sistema obtenemos:
m:res cs st ds p mounted fstype
0:drbd0 StandAlone Secondary/Unknown UpToDate/DUnknow C
Debiendo el administrador decidir qu nodo es el que posee la informacin correcta,
e informar de ellos al sistema, forzando al nodo cuyos datos son errneos (o se
decide que son errneos) a tomar el valor de errneos, ejecutando para ello las
acciones siguientes
1. En la que va se descartan los cambios
drbdadm secondary <resource> (en nuestro caso r0)
drbdadm -- --discard-my-data connect <resource>
2. En el nodo que se consideran los datos correctos
drbdadm connect all
Con ello, observaremos como el estado en el nodo cuya informacin es correcta
aparece como:
m:res cs st ds p mounted fstype
0:drbd0 SyncSource Secondary/Secondary UpToDate/Inconsistent C
Y en el nodo con informacin incorrecta aparece como:
m:res cs st ds p mounted fstype
0:drbd0 SyncSource Secondary/Secondary Inconsistent/UpToDate C
Quedando al cabo de un cierto tiempo ambos nodos en el estado:
m:res cs st ds p mounted fstype
0:drbd0 Connected Secondary/Secondary UpToDate/UpToDate C
Donde podemos ver que ambos nodos estn conectados y en estado consistente.
Y el proceso de sincronizacin comienza entre los nodos con los datos del dispostivo
que consideramos correcto
Finalizada la sincronizacin se llegar a la situacin primario-secundario y habr
que reiniciar los procesos que se conectan a Postgres (Jboss y LocalGis)
Urbanismo en Red
Pg. 15 de 26

7. HEARTBEAT
/etc/init.d/ con el nombre heartbeat
start/stop
Directorio de instalacin
HEARTBEAT_HOME=/etc/ha.d
Ficheros de configuracin
ha.cf
haresources
authkeys
Los recursos utilizados en el fichero haresources se encuentran en
$HEARTBEAT_HOME/resource.d
Estado
/etc/init.d/heartbeat status
Script de arranque/parada/estado

heartbeat OK [pid 1961 et al] is running on


urbrmoda2 [urbrmoda2]...

8. Actuaciones tipo INCIDENCIAS HARDWARE


Para este tipo de incidencias es importante destacar que, en caso de que el
hardware se encuentre en garanta, todas las operaciones que impliquen un acceso
al interior de la mquina deben ser realizadas por un tcnico especializado con
certificacin del fabricante de Hardware con el fin de no perder dicha garanta.

8.1.

Problemas de la fuente de alimentacin


1. Pulse el botn Encendido/En espera para asegurarse de que est encendido. Si el
servidor tiene un botn Encendido/En espera que vuelve a su posicin original
despus de pulsarlo, asegrese de hacerlo con firmeza.
2. Conecte otro dispositivo a la toma elctrica conectada a tierra para comprobar que
la toma funciona. Adems, asegrese de que la fuente de alimentacin cumple los
estndares correspondientes.
3. Sustituya el cable de alimentacin por otro que sepa que funciona para comprobar
que el original no estaba defectuoso.
4. Sustituya la cinta de alimentacin por otra que sepa que funciona para comprobar
que la original no estaba defectuosa.
5. Haga que un electricista cualificado compruebe el voltaje de la lnea para
asegurarse de que cumple las especificaciones necesarias.
6. Asegrese de que el disyuntor correspondiente se encuentra en la posicin de
encendido.

8.2.

Problemas de alimentacin
1. Asegrese de que no hay conexiones sueltas.
2. Si las fuentes de alimentacin cuentan con indicadores LED, asegrese de que
indican que todas las fuentes de alimentacin funcionan correctamente. Si los
indicadores LED indican un problema con una fuente de alimentacin, sustityala.

8.3.

El disco duro falla


1. Asegrese de que no hay conexiones sueltas.
2. Asegrese de que no hay conflictos entre dispositivos.
3. Si es necesario, asegrese de que los cables y los terminadores del disco duro
estn conectados correctamente.
4. Sustituya el cable de datos del disco duro por uno que sepa que funciona para
comprobar si el cable original funciona.

Urbanismo en Red
Pg. 16 de 26

5. Ejecute Insight Diagnostics ("HP Insight Diagnostics) y sustituya los componentes


que fallen como se indique.

8.4.

Los discos duros no se reconocen


1. Asegrese de que no hay problemas de alimentacin.
2. Compruebe si hay conexiones sueltas.
3. Asegrese de que el Controlador es compatible con las unidades de disco duro
instaladas.
4. Compruebe que el firmware del Controlador es el ms reciente.

8.5.

El servidor no reconoce una unidad de disco duro


1. Compruebe los indicadores LED del disco duro para asegurarse de que indican un
funcionamiento normal.
2. Asegrese de que no hay conexiones sueltas.
3. Extraiga el disco duro para asegurarse de que los puentes de configuracin estn
bien ajustados.
4. Asegrese de que la unidad est configurada de forma correcta.
5. Si no se trata de una unidad de conexin en caliente, asegrese de que no hay
conflictos con otra unidad de disco duro. Compruebe si hay conflictos de ID de
SCSI.

8.6.

Problemas generales en la memoria


1. Asegrese de que la memoria cumple los requisitos del servidor y de que est
instalada como exige el servidor. Algunos servidores pueden exigir que los bancos
de memoria se ocupen por completo o que toda la memoria de un mismo banco
tenga el mismo tamao, tipo y velocidad.
2. Compruebe los indicadores LED del servidor que correspondan a las ranuras de
memoria.
3. Si no est seguro de cul es el DIMM que ha fallado, compruebe cada banco de
DIMM tras extraer el resto de mdulos DIMM. A continuacin, identifique el DIMM
que ha fallado; para ello, conmute cada DIMM en un banco con un DIMM que sepa
que funciona.
4. Extraiga los componentes de memoria de otros fabricantes.
5. Ejecute HP Insight Diagnostics para comprobar la memoria.

8.7.

Se produce un error de recuento de memoria

Causa posible: Los mdulos de memoria no estn correctamente instalados.


1. Asegrese de que el servidor admite los mdulos de memoria.
2. Asegrese de que la instalacin y configuracin de los mdulos de memoria es
correcta.
3. Asegrese de que los mdulos de memoria estn correctamente colocados.
4. Asegrese de que no aparecen errores en el sistema operativo.
5. Reinicie el servidor y compruebe si an aparece el mensaje de error.
6. Ejecute Insight Diagnostics ("HP Insight Diagnostics") y sustituya los componentes
que fallen como se indique.

8.8.

El servidor no reconoce la memoria existente


1. Vuelva a colocar la memoria.
2. Asegrese de que la memoria est configurada de forma correcta.
3. Asegrese de que no se ha producido un error de recuento de memoria ("Se
produce un error de recuento de memoria"). Consulte el mensaje que indica el
recuento de memoria durante la POST.

Urbanismo en Red
Pg. 17 de 26

8.9.

Problemas de los procesadores


1. Si es necesario, compruebe los indicadores LED del procesador para averiguar si
se ha producido un fallo de PPM.
2. Asegrese de que todos los procesadores son compatibles con el servidor y de
que estn instalados correctamente.
3. Asegrese de que la ROM del servidor est actualizada.
4. Asegrese de que, si el servidor no lo admite, no mezcla progresiones del
procesador, velocidades de procesador o tamaos de memoria cach.

PRECAUCIN: Algunos procesadores y disipadores trmicos requieren tomar medidas


especiales para su sustitucin; otros estn integrados y no pueden volverse a utilizar
una vez extrados. Si desea instrucciones especficas para el servidor en el que intenta
solucionar algn problema, consulte la informacin sobre procesadores en la gua de
usuario del servidor.
5. Si en el servidor slo se ha instalado un procesador, sustityalo por otro que sepa
que funciona. Si el problema se soluciona una vez reiniciado el servidor, el fallo
est en el procesador original.
6. Si hay ms de un procesador instalado, comprubelos todos:
Deje un slo procesador en el servidor y extraiga el resto. Sustityalos por una
placa terminal o un panel liso, si es necesario para el servidor.
Si el servidor contiene PPM que no estn integrados en la placa del sistema,
retire todos los PPM del servidor excepto el PPM asociado con el procesador
que contina instalado.
Sustituya el procesador que no ha desinstalado por otro que sepa que
funciona. Si el problema se soluciona una vez reiniciado el equipo, el fallo lo
provoca uno o varios de los procesadores originales. Instale los procesadores y
sus PPM asociados (si procede) de manera aislada y reinicie el equipo cada
vez para localizar el procesador o los procesadores que causan el problema.
Asegrese de que la configuracin del procesador en cada paso es compatible
con los requisitos del servidor.

Urbanismo en Red
Pg. 18 de 26

9. Actuaciones tipo INCIDENCIAS SOFWARE


Existe un canal de soporte en la direccin soporteurbanismoenred@red.es.
En esa direccin de correo se pueden para trasladar consultas, sugerencias, propuestas y
comentarios relativas al uso de la Solucin Software o cualquier otro aspecto relacionado con
el Programa Urbanismo en Red.

9.1.

No se puede conectar al Visor/Consola

El explorador de internet no puede establecer una conexin con el servidor.


1. Verificar que estn ejecutndose todos los procesos descritos anteriormente y
comprobar que las peticiones del exterior llegan a las mquinas.
2. En caso de que las peticiones no llegaran a las mquinas verificar comunicaciones
(proxy inverso/firewall/etctera)

9.2.

No se puede acceder/validarse en la Consola

Mensaje de error, no se ha encontrado el usuario.


Intente conectarse con el usuario administrador. Si el problema persiste:
1. Asegrese que el sistema de base de datos PostgreSQL est activo.
2. Reinicie el servidor.

9.3.

Las capas de planeamiento no se cargan


1.
2.
3.
4.

9.4.

Asegrese que Jboss est iniciado.


Asegrese que el sistema Heartbeat est iniciado
Asegrese que el sistema Apache est iniciado
Asegrese que el sistema de base de datos PostgreSQL est activo.

No se visualizan los datos del registro en el Visor

Causa: Prdida de conexin con la base de datos de PostgreSQL.


1. Asegrese que el sistema de base de datos PostgreSQL est activo.
2. Reinicie los servidores.

9.5.

No se visualizan los planos georreferenciados en el


Visor

Verifique que el servidor GeoServer est activo.


1. Reinicie JBoss
2. Si el problema persiste, reinicie los servidores.

9.6.

La ficha urbanstica, los documentos, no cargan o fallo


en la autenticacin de la consola

Causa posible: No hay conexin entre el jboss y la base de datos.


1. Asegrese que Jboss est iniciado
3. Asegrese que el Postgres est iniciado
4. Reinicie Jboss

Urbanismo en Red
Pg. 19 de 26

9.7.

Cambio de configuracin de red

Si se produce algn cambio en la configuracin de la red que afecte a las mquinas de la


instalacin SW tales como:
Cambio de direccin IP
Infraestructura de red
Cambio de segmento de red de las mquinas
Realizar la revisin/modificacin de los ficheros de las secciones de este documento de
Ficheros a considerar donde se encuentran identificadas las IP/dominios utilizados en la
instalacin de la solucin SW.
Revise el Manual de instalacin en los apartados:
1.

Personalizacin del Visor y configure:


archivo web.xml con el nuevo valor para la variable <HOST_ServiciosWeb> . Este
parmetro indica la ruta (IP, nombre, etc) al servidor donde se encuentren desplegados
los Servicios Web
archivo perfiles.xml con el nuevo valor para las siguientes variables, indicando la
nueva IP.
rutaXMLServicios="http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/RestMethod"
urlRegistro=http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/lanzaderas/arbolambitosVIS/arb
olambVIS.jsp
urlRegistroCoordenadas=http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/lanzaderas/arbola
mbitosCoords/arbolambCoords.jsp"
urlRegistroWS=" http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/"
rutaSuperficies= http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/FichaSuperficies
rutaFichasBase=" http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/"
rutaPrintModule=" http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/Print"

2.

Personalizacin de Consola :
archivo UrbanismoEnRedV2.ear/urbanismoenredservicios.jar/es/mitc/redes/urbanismoenred/utils/recursos/textos/visorConsola.properti
es con el nuevo valor para las siguientes variables, indicando la nueva IP
URL_VISOR= http://XXX.XXX.XXX.XXX:8080/Visor
URL_FICHAS= http://XXX.XXX.XXX.XXX:8080/urbanismoenredWS/FichaConfigurada
WMS.ENTIDADES_RPM.url= http://XXX.XXX.XXX.XXX:8080/geoserver/wms
WMS.ENTIDADES_VAL.url= http://XXX.XXX.XXX.XXX:8080/geoserver/wms

archivo web.xml ubicado en la carpeta Urbanismoenred-ConsolaV2.war\WEB-INF con


el nuevo valor para la variable <HOST_ServiciosWeb>. Es la ruta (IP, nombre, etc) al
servidor donde se encuentren desplegados los Servicios Web (habitualmente localhost)
<paramvalue>http://<HOST_ServiciosWeb>/urbanismoenredWS/urbrWS?WSDL</paramvalue>

archivo /urbanismoenredWS.war/WEBINF/classes/es/mitc/redes/urbanismoenred/serviciosweb/urbrWS.properties, con el


nuevo valor para los siguientes parmetros:
URL_Documentos=http://<HOST_ServiciosWeb>/urbanismoenredWS/GetDocumento
URL_Geoserver=http://URL_Geoserver/geoserver/rest

Urbanismo en Red
Pg. 20 de 26

9.8.

El sistema Apache no inicia


1.
2.
3.
4.

9.9.

Asegrese que el sistema Heartbeat se encuentra activo.


Asegrese de que no aparecen errores en el sistema operativo.
Reinicie el servidor y compruebe si an aparece el mensaje de error.
Ejecute Insight Diagnostics ("HP Insight Diagnostics") y sustituya los componentes
que fallen como se indique.

Realizacin de copias de seguridad

Cada EELL deber contar con copia general (imagen de disco) de cada una de las mquinas
que compongan la instalacin.
Adicionalmente, se recomienda realizar una copia de seguridad de las bases de datos como
mnimo con periodicidad semanal y siempre antes de alguna carga de fichero de planeamiento.
Puede generar una copia de seguridad de la base de datos con los comandos propios de
PostgreSQL en la lnea de comando o bien con una aplicacin grfica tipo pgAdmin III.

Comandos PostgreSQL
El comando de recuperacin es el siguiente:
pg_dump -U postgres -Fc -s -f nombredelarchivo RPM
PgAdmin III.
Arranque la aplicacin para gestionar el gestor de bases de datos PostgreSQL.
Seleccione la base de datos con nombre RPM y con el botn derecho seleccione Restaurar y
siga el proceso.

Urbanismo en Red
Pg. 21 de 26

9.10. Restauracin desde copias de seguridad


Tras una situacin de fallo HW/SW y para recuperar el sistema puede ser necesaria la
restauracin desde copias de seguridad.
Todas las mquinas de las instalaciones de las EELL constan de 4 discos de 300Gb de
capacidad terica sobre los que se ha montado por hardware un sistema RAID 1+0 de
distribucin y replicacin de datos
Conectar la memoria usb con el software Clonezilla en puerto usb del servidor del que se va a
efectuar la clonacin y disco usb que albergar la copia en otro puerto usb. A continuacin se
reiniciar el sistema operativo.
sudo su
reboot
En configuraciones de modalidades A o B se deber realizar la clonacin de una de las
mquinas como mnimo. En configuraciones opcionales + A o + B se deber realizar la
clonacin de un servidor opcional (parte front-end) y de uno de los servidores A o B (parte
back-end)
1.

Tras el reinicio debera aparecer la pantalla principal del programa CloneZilla y


seleccionaremos la primera opcin.
2. En la pantalla siguiente se selecciona el idioma. Por defecto es el ingls.
3. En la pantalla siguiente se selecciona la primera opcin para arrancar CloneZilla de
manera grfica.
4. En la pantalla siguiente se selecciona la primera opcin particin a/desde imagen.
5. En la pantalla siguiente se selecciona la opcin local_dev para guardar la imagen en
un disco usb.
6. A continuacin se presenta una pantalla donde se solicita la conexin de disco usb
destino de la copia. Esto ya se debe haber realizado antes de reiniciar el sistema.
Pulsamos Intro para continuar.
7. Seleccionamos el dispositivo asociado al disco usb destino de la copia.
8. se elige Restaurar imagen a disco local.
9. se selecciona el directorio origen que contiene la imagen a restaurar.
10. se selecciona la imagen a restaurar: Servidor_tipo_AAAAMMDD
11. Donde tipo podr tener estos valores {OPC1, A1, B1}.
OPC1 para configuraciones opcionales + A o +B.
A1 para configuracin modalidad A y B1 para configuracin modalidad B.
AAAAMMDD es la fecha de realizacin de la copia.
Tras la restauracin, se arrancar el sistema.
Se escribirn las credenciales:
Usuario
Contrasea
admdom

9.11. Restauracin de ltimas copias de bases de datos


La restauracin desde disco clonado proporciona una versin operativa de la mquina y sus
procesos. Sin embargo si posteriormente se han realizado copias de bases de datos lo
adecuado es proceder con las restauraciones de la base de datos.
Puede recuperar la base de datos con los comandos propios de PostgreSQL en la lnea de
comando o bien con una aplicacin grfica tipo pgAdmin III.
Comandos PostgreSQL
Dependiendo de cmo haya realizado esta copia de seguridad, si ha realizado un dump de
toda la base de datos, el comando de recuperacin es el siguiente:
pg_restore -U postgres -d RPM -L nombredelarchivo

Urbanismo en Red
Pg. 22 de 26

PgAdmin III.
Arranque la aplicacin para gestionar el gestor de bases de datos PostgreSQL.
Seleccione la base de datos con nombre RPM y con el botn derecho seleccione Restaurar y
siga el proceso.

9.12. Verificacin de servicios


Consola

Acceder a la consola con usuario autorizado. Con ello se probar la


disponibilidad del mdulo as como conectividad con base de datos.

Visor

Acceder al visor y verificar que la capa base (PNOA) est activa.


La URL de acceso al visor ser http://IP o dominio:puerto/Visor o
http://IP o dominio:puerto/<nombre_visor>

Geoserver

La URL de acceso al geoserver ser http://IP o


dominio:puerto/geoserver/
Una vez en el geoserver se seleccionar previsualizacin de capas y se
comprobarn que las capas de la(s) EELL se visualizan correctamente y
estn habilitadas.
Si no se puede acceder hay que verificar que estn ejecutndose todos los procesos
necesarios y comprobar que las peticiones del exterior llegan a las mquinas

Urbanismo en Red
Pg. 23 de 26

10. PLAN DE APAGADO Y ENCENDIDO DEL SISTEMA


10.1. Apagado y encendido de una instalacin dos nodos
En el siguiente apartado se indican las operaciones a realizar durante un apagado ordenado y
un encendido, as como el orden en el que se debe ejecutar. Por ltimo se indicarn las
comprobaciones a realizar.
Apagado
En una arquitectura de dos nodos, el apagado debe ser el siguiente:
1. Apagar nodo URBR2 con el comando shutdown h now
2. Apagar el nodo URBR1 con el comando shutdown h now
Encendido
El proceso de encendido de la solucin consiste en los siguientes pasos.
1. Encender nodo URBR1.
2. Transcurridos 30 segundos, se proceder a encender el nodo URBR2
Ambos servicios deben encontrarse levantados en uno de los dos nodos.
La ltima comprobacin se realizar con el navegador, se probar el correcto funcionamiento
de visor y consola. Para ello, acceda a las URLs del visor y de la consola mediante el
navegador de internet.

10.2. Apagado y encendido de una instalacin cuatro nodos


En el siguiente apartado se indican las operaciones a realizar durante un apagado ordenado y
un encendido, as como el orden en el que se debe ejecutar. Por ltimo se indicaran las
comprobaciones a realizar.

Apagado
En una arquitectura de dos nodos, el apagado debe ser el siguiente:
1. Apagar nodo URBR4 con el comando shutdown h now
2. Apagar el nodo URBR3 con el comando shutdown h now
Una vez apagados los servidores de la capa frontend procederemos al apagado de los
servidores backend.
1. Apagar nodo URBR2 con el comando shutdown h now
2. Apagar el nodo URBR1 con el comando shutdown h now

Encendido
El proceso de encendido en una instalacin de cuatro nodos, se divide en dos bloques, un
primer bloque corresponde a los servidores backend y un segundo bloque corresponde a los
servidores de frontend.
Backend
El proceso de encendido de estos nodos consiste en los siguientes pasos.
1. Encender nodo URBR1.
2. Transcurridos 30 segundos, se proceder a encender el nodo URBR2
Frontend
Una vez encendidos los nodos de Backend, se proceder al encendido de los nodos Frontend,
para ello se deben seguir los siguientes pasos:
1. Encender nodo URBR3
2. Transcurridos 30 segundos, se proceder a encender el nodo URBR4

Urbanismo en Red
Pg. 24 de 26

11. CONEXIN SSH


En caso de necesitar establecer una conexin remota SSH, se puede configurar con cualquier
cliente de conexin tipo PuTTY, Telnet, TCP raw, WinSCP, etc.
A continuacin explicamos cmo se crea un tnel SSH con el cliente PuTTY

11.1. Configuracin PuTTY

Una vez creado el tnel, podemos acceder y administrar los servidores en modo remoto.

12. INFORMACIN PROGRAMA URBANISMO EN RED


En el Visor del Programa Urbanismo en Red existe una opcin en pantalla Acerca de, donde
se muestra un men con la opcin Ayuda. All encontrar la informacin necesaria para el
Manual de usuario del visor urbanstico. Adems, existen el Manual de Usuario Consola de
Planeamiento y el Manual de Administrador que le habrn sido suministrados a la Entidad
Local en la jornada de capacitacin
Tambin puede acceder a la web del programa http://www.urbanismoenred.es/

Por ltimo se ha creado una comunidad del programa de urbanismo en red donde se publican
peridicamente un blog, noticias, foros adems de todos los programas fuentes y ejecutables
de las herramientas de urbanismo en red, actualizaciones e incluso mquinas virtuales para su
uso por los miembros de la comunidad.
Urbanismo en Red
Pg. 25 de 26

Blog
Forja
Wiki
Foros
Gestor Documental
Noticias
Ficheros

http://blogs.forja.cenatic.es/urbanismo/es/
https://forja.cenatic.es/projects/urbanismo/
https://forja.cenatic.es/plugins/mediawiki/wiki/urbanismo/index.php
https://forja.cenatic.es/forum/?group_id=181
https://forja.cenatic.es/docman/?group_id=181
https://forja.cenatic.es/news/?group_id=181
https://forja.cenatic.es/frs/?group_id=181

Para poder acceder, descargar y publicar datos en la forja es necesario registrarse usando el
siguiente procecidmiento

1.- El usuario se debe registrar como usuario de la forja en la direccin

https://forja.cenatic.es/account/register.php,
2.- Tras recibir un correo electrnico en la direccin indicada en el proceso de registro y pulsar
en el enlace de confirmacin podr autenticarse en la forja.
3.- A continuacin y una vez que est autenticado en el portal debe acceder a la pgina del
proyecto en https://forja.cenatic.es/projects/urbanismo/
4.- Por ltimo la ltima opcin en el menu de la derecha corresponde al enlace Request to join
donde solicitarn el acceso a la comunidad que ser en breve aceptada por parte de los
administradores de la comunidad.
Cualquier administrador al que le surja una duda o un problema puede dirigir las mismas a
travs de la forja en los foros, donde podr consultar experiencias previas de otros usuarios y
consultar sus dudas.

Urbanismo en Red
Pg. 26 de 26