Curso - TI - LaPlata - 2018 PDF

Elementos introductorios a la teorı́a de
la información
Steeve Zozor
GIPSA-Lab – CNRS & Grenoble INP, Grenoble, France

IFLP & Dpt de fı́sica– CONICET & UNLP, La Plata, Argentina
6 de noviembre de 2018
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza
Información mutua – divergencias
Desigualdades – relaciones entre medidas
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Programa
2 Información mutua – divergencias
Entropı́a condicional, información mutua
Aplicaciones
¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Divergencias
S. Zozor
Programa
Aplicaciones
Divergencias
3 Desigualdades – relaciones entre medidas
Desigualdades triviales
Cadenas de Markov
Desigualdad y relaciones no triviales
S. Zozor
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Programa
Aplicaciones
Divergencias
Cadenas de Markov
S. Zozor
Ejemplos preliminares
Queremos codificar cada cara de un dado, con un código binario (0 y 1), t.q:
una secuencia binaria debe ser descifrable (sin ambigüedad),
un buen código minimiza el número promedio de bits.
S. Zozor
Sea una moneda y X número de sorteos antes de obtener una “ceca”. Juan tiró x.
Juego: adivinar x preguntandole lo menos posible (contesta sólo “si” o “no”).
S. Zozor
Un generador X ∈ {−1; +1}, α = Pr[X = 1], sirve para mandar sı́mbolos a través
de un canal. Como arreglar α para minimizar los errores de transmisión?
S. Zozor
Un generador X ∈ {−1; +1}, α = Pr[X = 1], sirve para mandar sı́mbolos a través
de un canal. Como arreglar α para minimizar los errores de transmisión?
N particulas en un volumenP Λ; cada particula i tiene su velocidad vi . ¿Repartición

de los vi , dada una energı́a i 21 mvi2 = E? ¿Que pasa en el limite termodinámico?
S. Zozor
Entropı́a de Shannon, 1948

Medida de incerteza / (falta de) información?
Variable aleatoria discreta X ∈ {x1 , . . . , xN }, p = [p1 · · · pN ], pn = Pr[X = xn ].
Obj.: medir la incerteza/falta de información H(X) ≡ H(p) sobre X.

no hay ninguna incerteza incerteza máxima

obs. no da ninguna información
S. Zozor



Axiomas
Invariante por permutación y continuo vs los pn ,
1
Caso uniforme pn = N
, H(p) crece vs N ,
Recursividad:

p1
H(p1 , p2 , p3 , . . . , pN ) = H(p1 + p2 , p3 , . . . , pN ) + (p1 + p2 )H , p2
p1 +p2 p1 +p2
.
S. Zozor



Axiomas equivalentes
Incerteza elemental – información de Hartley h(pn ), continua
P
el promedio es H(X) = n pn h(pn )
H(pX ⊗ pY ) = H(pX ) + H(pY )

X y Y independientes, la incerteza se suma (H(X, Y ) = H(X) + H(Y ))
S. Zozor



Solución – definición
h(pk ql ) = h(pk ) + h(ql ) impone h(p) = α log(p)
La única solución es:

X 4

H(p) = −kB T pn log(pn ) 0 log 0 = 0
n
def 1
kB T = log b
( logb , e.g. H en bits (log2 ) o en nats (ln)).
S. Zozor
Algunas propiedades
Basicas. . .
H es Schur-cóncava, i.e.,
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1
S. Zozor
Algunas propiedades
Basicas. . .
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1
Consecuencia, 0 ≤ H ≤ log N con

pn = δk,n ⇔ H = 0 mı́nima (no hay incerteza),
pn = N1 ⇔ H = log N incerteza máxima,
ej. {p, 1 − p}
S. Zozor
Algunas propiedades
Basicas. . .
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1

ej. {p, 1 − p}
∀g biyectiva, H(g(X)) = H(X): independencia vs los estados
S. Zozor
Algunas propiedades
Basicas. . .
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1

ej. {p, 1 − p}
∀g biyectiva, H(g(X)) = H(X): independencia vs los estados
Concavidad
H(λp + (1 − λ)q) ≥ λH(p) + (1 − λ)H(q)
S. Zozor
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
S. Zozor
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
En promedio, 8
× 3 = 3 bits.
S. Zozor
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
S. Zozor
P1
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1

Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
S. Zozor
P1
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1

:
“0” muy probable código corto, “7” poco probable código largo
S. Zozor
P1
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1

:
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
la secuencia es descifrable sin ambigüedad (“prefix-free code”),
6 bits. . . ,
S. Zozor
P1
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1

:
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
1 1
6 bits. . . , pero en promedio 2
×1 + 4
×2 + · · · = 2 bits
S. Zozor
P1
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1

:
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
1 1
×1 + 4
×2 + · · · = 2 bits = H(X)
S. Zozor
P1
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1

:
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
1 1
×1 + 4
×2 + · · · = 2 bits = H(X)
Largo promedio óptimo L?

H(X) ≤ L? < H(X) + 1
S. Zozor
Extensión al caso continuo

Sea X = (X1 , . . . , Xd ) un vector aleatorio continuo sobre D ⊆ Rd .
Por analogı́a, se define:
Z
H(X) = H(X1 , . . . , Xd ) = − p(x) log p(x) dx entropı́a dif. (conjunta)
D
S. Zozor

Z
D
Relación con la entropı́a (estados discretos, escalar):

Z (k+1)∆
xk tal que pk = p(xk ) ∆ = p(x) dx
k∆
∆
X = xk en [k∆ ; (k + 1)∆), X ∆ ∼ {pk }
S. Zozor

Z
D

Z (k+1)∆
k∆
∆
X = xk en [k∆ ; (k + 1)∆), X ∆ ∼ {pk }
X X
H X∆ = − pk log pk = − p(xk )∆ log(p(xk )∆)
X
= − log ∆ − p(xk ) log p(xk ) ∆
S. Zozor

Z
D

Z (k+1)∆
k∆
∆
X = xk en [k∆ ; (k + 1)∆), X ∆ ∼ {pk }
X X
H X∆ = − pk log pk = − p(xk )∆ log(p(xk )∆)
X
= − log ∆ − p(xk ) log p(xk ) ∆

lim H X ∆ + log ∆ = H(X)
∆→0
S. Zozor
Algunas propiedades del caso continuo

X ∈ D, vol D < +∞: H(X) ≤ log vol D máxima ⇔ X uniforme
H puede ser negativa! y H → −∞ cuando vol D → 0 (no incerteza)!
S. Zozor

Concavidad: H(λp + (1 − λ)q) ≥ λH(p) + (1 − λ)H(q).
S. Zozor

X ∈ Rd , dada una covarianza/potencia Σ: H(X) ≤ d
2
log(2π e) + 1
2
log |Σ|
máxima ⇔ X ∼ N (m, Σ) , Σ contiene toda la información sobre X
S. Zozor

2
log(2π e) + 1
2
log |Σ|
Z
g dif. biyec., H(g(X)) = H(X) + log |Jg (x)| pX (x) dx : dep. de los estados!
D
S. Zozor

2
log(2π e) + 1
2
log |Σ|
Z
D
P = Tr Σ dada, H decrece cuando hay correlaciones
S. Zozor

2
log(2π e) + 1
2
log |Σ|
Z
D
H(X)
Tasa: H(X) = d
[iid H(X) = H(Xi )].
S. Zozor

2
log(2π e) + 1
2
log |Σ|
Z
D
H(X)
Tasa: H(X) = d
[iid H(X) = H(Xi )].
1 2

Potencia entropica N (X) = 2πe
exp d
H(X)
2
(vol D) d 1
N (X) ≥ 0; unif. N (X) = 2π e
; gauss.: N (X) = |Σ| d
S. Zozor
Entropı́as de Salicrú, 1992

Definición
! (
X φ cóncava y h creciente, ó
H(h,φ) (p) = h φ(pn ) con
n φ cónvexa y h decreciente
Podemos suponer:
φ(0) = 0 : un evento de probabilidad 0 no lleva información (elemental)
h(φ(1)) = 0 no hay incertitumbre cuando p = [1 0 · · · 0]
S. Zozor
Entropı́as de Salicrú, 1992

Definición
! (
X φ cóncava y h creciente, ó
H(h,φ) (p) = h φ(pn ) con
n φ cónvexa y h decreciente
Podemos suponer:
φ(0) = 0 : un evento de probabilidad 0 no lleva información (elemental)
h(φ(1)) = 0 no hay incertitumbre cuando p = [1 0 · · · 0]
Ejemplos famosos
φ h H(h,φ) (p)
P
Shannon −x ln x x − k pk ln pk
ln( k pα
k)
P
α ln x
Rényi x 1−α P 1−α α
k pk − 1
HCT xα x−1
1−α P 1−α
Unified xr xs −1 ( k prk )s −1
(1−r) s (1−r) s
1−κ
x1−κ −x1+κ k (pk −p1+κ )
P
Kaniadakis 2κ
x 2κ
k
S. Zozor
Entropı́as de Salicrú: propiedades

Para cualquier par de funcionales entrópicos (h, φ)
Propiedades basicas
Invariante bajo una permutación de los pk
Expansibilidad: H(h,φ) ([p1 · · · pN 0]) = H(h,φ) ([p1 · · · pN ])
Fusión: H(h,φ) ([p1 p2 · · · pN ]) ≥ H(h,φ) ([p1 + p2 · · · pN ])
S. Zozor
Entropı́as de Salicrú: propiedades

Para cualquier par de funcionales entrópicos (h, φ)
Propiedades basicas
Invariante bajo una permutación de los pk
Expansibilidad: H(h,φ) ([p1 · · · pN 0]) = H(h,φ) ([p1 · · · pN ])
Fusión: H(h,φ) ([p1 p2 · · · pN ]) ≥ H(h,φ) ([p1 + p2 · · · pN ])
Mayorización y cotas
Schur-concavidad: p ≺ q ⇒ H(h,φ) (p) ≥ H(h,φ) (q)
Reciproca si para toda las pares (h, φ)
1

Consecuencia: 0 ≤ H(h,φ) (p) ≤ h N φ N
con
1
Mı́nimo cuando pn = δk,n , Máximo cuando pn = N
y crece vs N
h cóncava ⇒ H(h,φ) (p) cóncava vs p
S. Zozor
Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Efecto de foco
1
log x : Rényi


 1−λ
λ 1−x
φ(x) = x y h(x) = 1−21−λ
: Havrda–Charvát o Daróczy

 x−1
1−λ
: Tsallis
1
P λ
Fλ (p) = 1−λ
f k pk , con f creciente: limλ→1 Fλ (p) = H(p) (Shannon)
S. Zozor

Efecto de foco
1
log x : Rényi


 1−λ
λ 1−x
φ(x) = x y h(x) = 1−21−λ

 x−1
1−λ
: Tsallis
1
P λ
Fλ (p) = 1−λ
Punto de vista axiomatico

Rényi’61: Shannon axiomas y generalización de la recursividad/promedio,
k−1
P P
p l xl pl k(xl ) , k continua creciente (Kolmogorov-Nagumo)
S. Zozor

Efecto de foco
1
log x : Rényi


 1−λ
λ 1−x
φ(x) = x y h(x) = 1−21−λ

 x−1
1−λ
: Tsallis
1
P λ
Fλ (p) = 1−λ

k−1
P P
Havrda-Charvát’67: recursividad generalizada
Sλ (p1 , . . . , pn ) = Sλ (p1 + p2 , p3 , . . . , pn ) + (p1 + p2 )λ Sλ p1p+p
1
2
, p2
p1 +p2
S. Zozor

Efecto de foco
1
log x : Rényi


 1−λ
λ 1−x
φ(x) = x y h(x) = 1−21−λ

 x−1
1−λ
: Tsallis
1
P λ
Fλ (p) = 1−λ

k−1
P P
1
2
, p2
p1 +p2

Daróczy’70: H(p) = i=2 si f psii , si = il=1 pl
Pn P

y x
f (x) = −x log x−(1−x) log(1−x), f (x)+(1−x) f 1−x
= f (y)+(1−y) f 1−y
S. Zozor

Efecto de foco
1
log x : Rényi


 1−λ
λ 1−x
φ(x) = x y h(x) = 1−21−λ

 x−1
1−λ
: Tsallis
1
P λ
Fλ (p) = 1−λ

k−1
P P
1
2
, p2
p1 +p2

Pn P
xλ +(1−x)λ −1

y x
f (x)+(1−x)λf = f (y)+(1−y)λf
21−λ −1
f (x) = , 1−x 1−y
S. Zozor

Efecto de foco
1
log x : Rényi


 1−λ
λ 1−x
φ(x) = x y h(x) = 1−21−λ

 x−1
1−λ
: Tsallis
1
P λ
Fλ (p) = 1−λ

k−1
P P
1
2
, p2
p1 +p2

Pn P
xλ +(1−x)λ −1

y x
f (x)+(1−x)λf = f (y)+(1−y)λf
21−λ −1
f (x) = , 1−x 1−y
Tsallis’88: Inspiración del análisis fractal

S. Zozor
Caso Fλ : algunas propiedades más

versus λ
Concavidad para λ ≤ 1 (por lo menos)
Fλ decrece (& convexa) vs λ
S. Zozor

versus λ
Entropı́a máxima
f ((vol D)1−λ )
X ∈ D, vol D < +∞, Fλ,max = 1−λ
en el caso uniforme
X ∈ Rd , maximizantes dada una covarianza R:

1 λ→1
λ > 1: p(x) ∝ 1 − xt R−1 x +λ−1 Student-r −→ N
1 λ→1
1− d2 < λ < 1: p(x) ∝ 1 + xt R−1 x λ−1 Student-t −→ N
S. Zozor

versus λ
Entropı́a máxima
f ((vol D)1−λ )
X ∈ D, vol D < +∞, Fλ,max = 1−λ
en el caso uniforme
X ∈ Rd , maximizantes dada una covarianza R:

1 λ→1
λ > 1: p(x) ∝ 1 − xt R−1 x +λ−1 Student-r −→ N
1 λ→1
1− d2 < λ < 1: p(x) ∝ 1 + xt R−1 x λ−1 Student-t −→ N
Efecto de lente
λ < 1: peso sobre las colas de la distribución
λ > 1: peso sobre el modo principal de la distribución
S. Zozor
Cuantificación y distorsión, Panter & Dite’51, Zador ’63
Problema de cuantificación óptima en alta resolución

C(x)
b = C(X) de X ∼ p
Cuantificación estática X ci
C(x) = ci si x ∈ [ui−1 , ui ), 1≤i≤N
ui−1 ui x
S. Zozor

C(x)
b = C(X) de X ∼ p
C(x) = ci si x ∈ [ui−1 , ui ), 1≤i≤N
Suponemos ci ∈ (ui−1 , ui ) N
y ui−1 ui x
h α i
Minimización de la distorsión Dα = E X − X
b
S. Zozor

C(x)
b = C(X) de X ∼ p
C(x) = ci si x ∈ [ui−1 , ui ), 1≤i≤N
Suponemos ci ∈ (ui−1 , ui ) Ny ui−1 ui x
h α i
b
Densidad λ de umbrales y solución

N Z ui
X λ(u)
Dα = |x − ci |α p(x) dx
i=1 ui−1
1 u
N λ(x)δ umbrales en la cerc. de x ⇒ δi = |x − ci | ≈ N λ(x)
S. Zozor

C(x)
b = C(X) de X ∼ p
C(x) = ci si x ∈ [ui−1 , ui ), 1≤i≤N
Suponemos ci ∈ (ui−1 , ui ) Ny ui−1 ui x
h α i
b

N Z ui
X λ(u)
i=1 ui−1
1 u
Z Z
p(x) dx
Problema: min α s. a. λ(x) dx = 1
λ(·) (N λ(x))
S. Zozor

C(x)
b = C(X) de X ∼ p
C(x) = ci si x ∈ [ui−1 , ui ), 1≤i≤N
Suponemos ci ∈ (ui−1 , ui ) N
y ui−1 ui x
h α i
b

N Z ui
X λ(u)
i=1 ui−1
1 u
Z Z
p(x) dx
Problema: min α s. a. λ(x) dx = 1
λ(·) (N λ(x))
Z
1 1
Solución y error: λ ∝ p 1+α y Dα ∝ (p(x)) 1+α dx . . .
S. Zozor
Codificación à la Rényi, Campbell ’65, Bercher ’09
Código binario de un dado trucado de 8 caras, p = 21 , 14 , 18 , 16

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
Código instantaneo (“prefix-free”) → Desigualdad de Kraft: i 2 i
≤ 1
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
Largo promedio L = i pi li mı́nimo
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
li = − log2 pi & L∗ = H(X)
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
li = − log2 pi & L∗ = H(X)
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
L? = 2 = H(X) pero necesita 6 bits
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
li = − log2 pi & L∗ = H(X)
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
Penalización de los códigos largos: minimización de Cα = α
log2 i
C0 = L & C∞ = maxi li
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
li = − log2 pi & L∗ = H(X)
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
log2 i
1 pλ
li = − log2 pei & Cα = Hλ (X) , con λ = 1+α
& pei = P i λ
k pk
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
li = − log2 pi & L? = H(X) (li = d− log pi e & L ≥ H(X))
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
log2 i
1 pλ
li = − log2 pei & Cα = Hλ (X) , con λ = 1+α
& pei = P i λ
k pk
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
log2 i
1 pλ
li = − log2 pei & Cα = Hλ (X) , con λ = 1+α & pei = P ipλ
k k
P
Penalidad Mλ = i pei li y código con la distribución deformada pe
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
log2 i
1 pλ
k k
P
√ √ √ √ √ √ √ √
α = 1, ( 10 2−12 10−6 2 5 2−6 5−3 2 5−3 2 5−3 2 5−3 2 5−3 2
7
, 7
, 7 , 7 , 14 , 14 , 14 , 14 )
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
log2 i
1 pλ
k k
P
√ √ √ √ √ √ √ √
α = 1, ( 10 72−12 , 10−6
7
2 5 2−6 5−3 2 5−3 2 5−3 2
, 7 , 7 , 14 , 14 , 5−3 2 5−3 2
14
, 14 )
Elección (00, 01, 100, 101, 1100, 1101, 1110, 1111)
S. Zozor

1
, 1 , 1 , 64
1 1

, .
P 64 −l64 64
≤ 1
A la Shannon. . .
P
Elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
A la Rényi. . .
1
pi 2αli
P
log2 i
1 pλ
k k
P
√ √ √ √ √ √ √ √
α = 1, ( 10 72−12 , 10−6
7
2 5 2−6 5−3 2 5−3 2 5−3 2
, 7 , 7 , 14 , 14 , 5−3 2 5−3 2
14
, 14 )
Elección (00, 01, 100, 101, 1100, 1101, 1110, 1111)
L = 2.31 > L∗ , pero necesita 4 bits en el peor caso
S. Zozor
Un poco de fı́sica. . .
El gas perfecto
N particulas (masa m), velocidades vi , en un volumen Λ, energı́a total E,
( N )
1
X
2
Velocidades en Ω = (v1 , . . . , vN ) mvi = E (hiperesfera)

i=1
2
Principio de la entropı́a máxima =⇒ repartición uniforme en la superficie Ω
S. Zozor
El gas perfecto
( N )
1
X
2

i=1
2
Subsistema
Λ0 ⊂ Λ con N0 < N particulas:
3 (N −N0 )−2
m t 2
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0
2E +
S. Zozor
El gas perfecto
( N )
1
X
2

i=1
2
Subsistema
3 (N −N0 )−2
m t 2
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0
2E +
Limite termodinámico
Λ → R3 , N
|Λ|
→ ρ, & E
|Λ|
→e

3mρ t
p(v1 , . . . , vN0 ) ∝ exp − v0 v0 (Boltzmann)
4e
S. Zozor
El gas perfecto
( N )
1
X
2

i=1
2
Subsistema
3 (N −N0 )−2
m t 2
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0
2E +
Λ → R3 , N
|Λ|
→ ρ, & E
|Λ|
→e

3mρ t
p(v1 , . . . , vN0 ) ∝ exp − v0 v0 (Boltzmann) ⇒ Shannon
4e
S. Zozor
El gas perfecto
( N )
1
X
2

i=1
2
Subsistema
3 (N −N0 )−2
m t 2 3N − 3N0
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0 ⇒ Fλ , λ = >1
2E + 3N − 3N0 − 2
Λ → R3 , N
|Λ|
→ ρ, & E
|Λ|
→e

3mρ t
p(v1 , . . . , vN0 ) ∝ exp − v0 v0 (Boltzmann) ⇒ Shannon
4e
S. Zozor
(h, φ)-entropı́a cuántica: definición

Sea ρ un operador densidad actuando sobre HN (ρ ≥ 0 hermı́tico con Tr ρ = 1)
Definición
(
φ cóncava y h creciente, ó
H (h,φ) (ρ) = h(Tr φ(ρ)) con
φ cónvexa y h decreciente
y φ(0) = 0, h(φ(1)) = 0. . .
S. Zozor
(h, φ)-entropı́a cuántica: definición

Sea ρ un operador densidad actuando sobre HN (ρ ≥ 0 hermı́tico con Tr ρ = 1)
Definición
(
φ cóncava y h creciente, ó
H (h,φ) (ρ) = h(Tr φ(ρ)) con
φ cónvexa y h decreciente
y φ(0) = 0, h(φ(1)) = 0. . .
Ejemplos famosos
φ h H(h,φ) (p)
P
von Neuman −x ln x x − k pk ln pk
ln( k pα
k)
P
Rényi xα ln x
1−α
P 1−α α
k pk − 1
HCT xα x−1
1−α 1−α
xs −1 ( k prk )s −1
P
Unified xr (1−r) s (1−r) s
1−κ
x1−κ −x1+κ k (pk −p1+κ )
P
Kaniadakis 2κ
x 2κ
k
S. Zozor
(h, φ)-entropı́a cuántica vs clásica
Forma diagonal
X
ρ= λk |ek ihek |
k
donde
{|ek i} es la base ortonormal de HN diagonalizando ρ,
λ = [λ1 · · · λN ] ∈ [0 1]N ,
P
k λk = 1 las autovalores de ρ
S. Zozor
(h, φ)-entropı́a cuántica vs clásica
Forma diagonal
X
ρ= λk |ek ihek |
k
donde
{|ek i} es la base ortonormal de HN diagonalizando ρ,
λ = [λ1 · · · λN ] ∈ [0 1]N ,
P
k λk = 1 las autovalores de ρ
Cuántica vs clásica
H (h,φ) (ρ) = H(h,φ) (λ)
La versión cuántica va a heredar de propiedades de la versión clásica. . .
S. Zozor
Propiedades
Schur-concavidad (y recip.)
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0

⇒
igualdad sii ρ0 = U ρ U † o ρ = U ρ0 U † con U isometrı́a (U † U = I)
Reciproca sii para cualquier par de funcionales entrópicos (h, φ).
S. Zozor
Propiedades
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0

⇒
Cotas
1

0 ≤ H (h,φ) (ρ) ≤ h N φ N
I
Mı́ni. cuando ρ = |ψihψ| estado puro, Máxi. cuando ρ = N
mezcla máxima
S. Zozor
Propiedades
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0

⇒
Cotas
1

0 ≤ H (h,φ) (ρ) ≤ h N φ N
I
mezcla máxima
Mezcla & vs diagonal

X
ρ= pk |ψk ihψk | ⇒ H (h,φ) (ρ) ≤ H(h,φ) (p)
k
pE (ρ) diag. ρ en E = {ek } base orton.: H (h,φ) (ρ) ≤ H(h,φ) pE (ρ)

S. Zozor
Propiedades
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0

⇒
Cotas
1

0 ≤ H (h,φ) (ρ) ≤ h N φ N
I
mezcla máxima
Mezcla & vs diagonal

X
ρ= pk |ψk ihψk | ⇒ H (h,φ) (ρ) ≤ H(h,φ) (p)
k
pE (ρ) diag. ρ en E = {ek } base orton.: H (h,φ) (ρ) ≤ H(h,φ) pE (ρ)

Concavidad
Siempre que h es cóncava, H (h,φ) (·) es cóncava,
S. Zozor
Efecto de una transformación o medida

Transformación
Invariante bajo una transf. unitaria U (ej. evolución temporal)

H (h,φ) U ρ U † = H (h,φ) (ρ)
S. Zozor

Transformación

H (h,φ) U ρ U † = H (h,φ) (ρ)
Decrece bajo una operación biestocástica (ej. medida general):
E(ρ) = k Ak ρA†k ,
P P † P †
k Ak Ak = I = k Ak Ak (completitud)
H (h,φ) (E(ρ)) ≥ H (h,φ) (ρ) (degradación de la información)

†
Igualdad sii E(ρ) = U ρ U , U unitaria
S. Zozor

Transformación

H (h,φ) U ρ U † = H (h,φ) (ρ)
Decrece bajo una operación biestocástica (ej. medida general):
E(ρ) = k Ak ρA†k ,
P P † P †
k Ak Ak = I = k Ak Ak (completitud)
H (h,φ) (E(ρ)) ≥ H (h,φ) (ρ) (degradación de la información)

†
Igualdad sii E(ρ) = U ρ U , U unitaria
Consecuencia
{Ek } ∈ E POVM de rango uno, pE (ρ) = Tr(Ek ρ),

H (h,φ) (ρ) = min H(h,φ) pE (ρ)
E
S. Zozor
(Sub)Aditividades, estado puro

Sean HA ⊗ HB , ρAB , ρA = TrB ρAB , ρB = TrA ρAB
(Sub)aditividad
Si (i) φ(ab) = φ(a)b + aφ(b) y h(x + y) = h(x) + h(y), o
(ii) φ(ab) = φ(a)φ(b) y h(xy) = h(x) + h(y), entonces

H (h,φ) ρA ⊗ ρB = H (h,φ) ρA + H (h,φ) ρB
(ej. von Neuman, Rényi)
S. Zozor

(Sub)aditividad

H (h,φ) ρAB ≤ H (h,φ) ρA ⊗ ρB ⇔ φ(x) = −x ln x

S. Zozor

(Sub)aditividad

H (h,φ) ρAB ≤ H (h,φ) ρA ⊗ ρB ⇔ φ(x) = −x ln x

Estados puros
ρAB = |ψihψ| H (h,φ) ρA = H (h,φ) ρB

⇒
S. Zozor
Estados separables
Estado separable:
X ED ED X
ρAB = ωm ΨA ΨA
B
m ⊗ Ψm ΨB ωm ≥ 0, ωm = 1

m m
m m
S. Zozor
Estados separables
Estado separable:
X ED ED X
ρAB = ωm ΨA ΨA
B
m ⊗ Ψm ΨB ωm ≥ 0, ωm = 1

m m
m m
Desigualdad de separabilidad
Si ρAB es separable, entonces
n o
H (h,φ) ρAB ≥ max H (h,φ) ρA , H (h,φ) ρB
Violar este desigualdad permite detectar entrelazamiento
Se generaliza a sistemas multipartitos y

estados totalmente separables
S. Zozor
Detección de entrelazamiento: un ejemplo

|00i−|11i
Werner: ρAB = ω Ψ− Ψ− + (1 − ω) I4 ,

−
Ψ = √
2
Entrelazado sii ω > 31 ;
S. Zozor

|00i−|11i
Werner: ρAB = ω Ψ− Ψ− + (1 − ω) I4 ,

−
Ψ = √
2
f (x)
Entrelazado sii ω > 31 ; φ(x) = xα , h(x) = 1−α
; ρA = ρB = I
2
Detección
1−ω α 1+3ω α
− f 21−α

f 3 4
+ 4
Criterio: > 0 ⇒ entrelazamiento
α−1
S. Zozor

|00i−|11i
Werner: ρAB = ω Ψ− Ψ− + (1 − ω) I4 ,

−
Ψ = √
2
f (x)
Entrelazado sii ω > 31 ; φ(x) = xα , h(x) = 1−α
; ρA = ρB = I
2
Detección
1−ω α 1+3ω α
− f 21−α

f 3 4
+ 4
Criterio: > 0 ⇒ entrelazamiento
α−1
S. Zozor
Compresión cuántica: formalismo

Mundo clásico Mundo cuántico
Fuente: S = {pn , sn }N
n=1
sn ∈ HS = {0, . . . , d − 1}, sı́mbolos

P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
S. Zozor

n=1
Fuente: S = {pn , |sn i}
sn ∈ HS = {0, . . . , d − 1}, sı́mbolos |sn i ∈ HS ≡ Cd , sı́mbolos cuánticos
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
Op. de densidad ρ = n pn |sn ihsn |
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
Alfabeto: A = {0, 1}
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
Alfabeto: A = {0, 1} Alfabeto: A = {|0i , |1i} ⊂ HA ≡ C2
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P

código: sn → c(n) = i1 . . . iln ∈ Aln
cadena de largo ln
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P

código: sn → c(n) = i1 . . . iln ∈ Aln |sn i → |cn i 6∈ A⊗ln
cadena de largo ln superpos. |cn i ∈ FA = ⊕∞ ⊗l
l=0 HA
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P

l=0 HA
Decodificación sin ambigüedad:

c(j1 ) . . . c(jm ) → única sj1 . . . sjm
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P

l=0 HA
isometria lineal U : HS 7→ FA
c(j1 ) . . . c(jm ) → única sj1 . . . sjm
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P

l=0 HA
Elección: U = di=1 |c(i)ihei |
P
⊗l
c(j1 ) . . . c(jm ) → única sj1 . . . sjm c(i) código clásico, |c(i)i ∈ HA i
{|ei i}di=1 base ortonormal de HS
S. Zozor

n=1
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P
0 ≤ pn ≤ 1, n pn = 1, Pr. ocur.
P

l=0 HA
Elección: U = di=1 |c(i)ihei |
P
⊗l
c(j1 ) . . . c(jm ) → única sj1 . . . sjm c(i) código clásico, |c(i)i ∈ HA i
{|ei i}di=1 base ortonormal de HS
Estado codificado: C(ρ) = U ρ U †
S. Zozor
Compresión cuántica: Kraft-McMillan

c(n) de largos ln ∈ N
S. Zozor

P
c(n) de largos ln ∈ N Largo: observable Λ = l≥0 l Πl
⊗l
Πl proyector ortogonal sobre HA
S. Zozor

P
⊗l
Decodabilidad única impone

P −ln
n2 ≤ 1 (KM)
Caso libre de prefijo: arbol de Kraft

•
0 1
• •
00 01 10 11
• • • •
010 011 110 111
• • • • • • • •
2lmax −ln hojas quitadas ≤ 2lmax hojas

P
n
S. Zozor

P
⊗l
Decodabilidad única impone Decodabilidad única impone

P −ln
n2 ≤ 1 (KM) Tr U † 2−Λ U ≤ 1 (KMC)

U † 2−Λ U = 2−l |ei ihc(i)| Πl |c(j)ihej |

P
l,i,j
•
0 1
• •
00 01 10 11
• • • •
010 011 110 111
• • • • • • • •
2lmax −ln hojas quitadas ≤ 2lmax hojas

P
n
S. Zozor

P
⊗l

P −ln
n2 ≤ 1 (KM) Tr U † 2−Λ U ≤ 1 (KMC)


P
l,i,j
• Largo promedio de |ωi = U |si:
0 1 `0 (|ωi) = hΛi|ωi
• •
00 01 10 11
• • • • Largo promedio de C(ρ):
010 011 110 111
• • • • • • • • `0 (C(ρ)) = hΛiC(ρ) = Tr(C(ρ)Λ)
P max −ln hojas quitadas ≤ 2lmax hojas
l
n2
S. Zozor

P
⊗l

P −ln
n2 ≤ 1 (KM) Tr U † 2−Λ U ≤ 1 (KMC)


P
l,i,j
• Largo promedio de |ωi = U |si:
0 1 `0 (|ωi) = hΛi|ωi
• •
00 01 10 11
• • • • Largo promedio de C(ρ):
010 011 110 111
• • • • • • • • `0 (C(ρ)) = hΛiC(ρ) = Tr(C(ρ)Λ)
P max −ln hojas quitadas ≤ 2lmax hojas
l
n2 Largo de base (de un código):
`∞ (|ωi) = maxi:hei |si6=0 li
S. Zozor
Compresión cuántica: código óptimo

X
min p n ln s. a. KM
{c(n)}
n
S. Zozor

X
min p n ln s. a. KM
{c(n)}
n
ln 6∈ N ⇒ ln = − log2 pn
no da un código
S. Zozor

X
min p n ln s. a. KM
{c(n)}
n
no da un código
dln e & arbol de Kraft

código de Shannon csh (n), no ópt.
S. Zozor

X
min p n ln s. a. KM
{c(n)}
n
no da un código

código de Huffman copt (n), ópt.,

no expresión analı́tica de los ln
S. Zozor

min `0 (C(ρ)) s. a. KMC
X
min p n ln s. a. KM {c(i),|ei i}
{c(n)}
n
no da un código


S. Zozor

X
{c(n)}
n
P
ln 6∈ N ⇒ ln = − log2 pn Optimización: diag. ρ = i ρi |ρi ihρi |
no da un código


P opt
U opt = i c (i) hρi |
S. Zozor

X
{c(n)}
n
P
no da un código Fijamos los |c(i)i |ei i opt
= |ρi i
P 2
`0 (C(ρ)) = |hei |ρi i|
i,j li ρj
dln e & arbol de Kraft h i
código de Shannon csh (n), no ópt. Mat. Dobl. estoc. D = |hei |ρi i|2
i,j
opt minD ~l D ρ
~†
código de Huffman c (n), ópt.,
Birkhoff: ~l D ρ
~ † = k αk~l Pk ρ
~ t ≥ ~l Pk0 ρ
~†
P
P opt
U opt = c (i) hρi |
i
S. Zozor

X
{c(n)}
n
P
= |ρi i
P 2
`0 (C(ρ)) = |hei |ρi i|
i,j li ρj
i,j
opt minD ~l D ρ
~†
Birkhoff: ~l D ρ
~ t ≥ ~l Pk0 ρ
~†
P
no expresión analı́tica de los ln opt
Optim. wrt |c(i)i c (i) wrt ρi
P
`0 (C(ρ)) = Tr(C(ρ)Λ) = i ρi l i
opt P opt
U = c (i) hρi |
i
S. Zozor

X
{c(n)}
n
P
= |ρi i
P 2
`0 (C(ρ)) = |hei |ρi i|
i,j li ρj
i,j
opt minD ~l D ρ
~†
Birkhoff: ~l D ρ
~ t ≥ ~l Pk0 ρ
~†
P
P
`0 (C(ρ)) = Tr(C(ρ)Λ) = i ρi l i
opt P opt
U = c (i) hρi |
i
Largo promedio mı́nimo;

S. Zozor

X
{c(n)}
n
P
= |ρi i
P 2
`0 (C(ρ)) = |hei |ρi i|
i,j li ρj
i,j
opt minD ~l D ρ
~†
Birkhoff: ~l D ρ
~ t ≥ ~l Pk0 ρ
~†
P
P
`0 (C(ρ)) = Tr(C(ρ)Λ) = i ρi l i
opt P opt
U = c (i) hρi |
i
Largo promedio mı́nimo; Unos códigos pueden ser largos. . .

S. Zozor
Compresión cuántica: penal. exponencial

1
P tln
Campbell: `t = t
log2 n pn 2
S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
log2 n pn 2 `t (C(ρ)) = t
1
log2 Tr C(ρ)2tΛ

= t
`0 = limt→0 `t = ` largo promedio `∞ = limt→∞ `t = maxi li largo de base

`t aumenta wrt t: compromiso e/largo promedio y de base, jugando con t
S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
1
log2 Tr C(ρ)2tΛ

= t
1
ln,t = − log2 pn,t , pn,t ∝ pn1+t (escort)
no da el código

S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
1
log2 Tr C(ρ)2tΛ

= t
1
no da el código
dln,t e & arbol de Kraft

Shannon csh
t (n), no óptimo

S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
1
log2 Tr C(ρ)2tΛ

= t
1
no da el código

Shannon csh
t (n), no óptimo
Huffman wrt pn,t , chuf

t (n), no ópt.

S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
1
log2 Tr C(ρ)2tΛ

= t
1
no da el código

Shannon csh
t (n), no óptimo

t (n), no ópt.
Humblet: copt
t (n), óptimo

S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
1
log2 Tr C(ρ)2tΛ

= t
1 P
ln,t = − log2 pn,t , pn,t ∝ pn1+t (escort) Optim.: diag. ρ = i ρi |ρi ihρi |
no da el código Fijamos los |c(i)i |ei iopt = |ρi i

opt
Optim. wrt |c(i)i ct (i) wrt ρi
Shannon csh
t (n), no óptimo
Utopt =
P opt
ict (i) hρi |
t (n), no ópt.
Humblet: copt
t (n), óptimo

S. Zozor

1 tln 1
log2 2tΛ C(ρ)
P

Campbell: `t = t
1
log2 Tr C(ρ)2tΛ

= t
1 P
ln,t = − log2 pn,t , pn,t ∝ pn1+t (escort) Optim.: diag. ρ = i ρi |ρi ihρi |
no da el código Fijamos los |c(i)i |ei iopt = |ρi i

opt
Optim. wrt |c(i)i ct (i) wrt ρi
Shannon csh
t (n), no óptimo
Utopt =
P opt
ict (i) hρi |
t (n), no ópt.
1
ρ 1+t
Humblet: copt
t (n), óptimo Operador densidad escort: ρt = 1
Tr ρ 1+t
S. Zozor
Compresión cuántica: largos
S. Zozor

Largo de Campbell
S 1 (ρ) ≤ `t (Ctopt (ρ)) < S 1 (ρ) + 1 con Sα (ρ) = 1
1−α
log2 Tr(ρα )
1+t 1+t
entropı́a de Rényi cuántica
código dicho entrópico; rol operacional de la entropı́a cuántica de Rényi

S. Zozor

Largo de Campbell
1−α
log2 Tr(ρα )
1+t 1+t
1
U † 2− U ρ 1+t
σ= with β = Tr(U † 2−Λ U ), ρt = 1
Tr ρ 1+t
β
1 i1+t
σ −t β −t Tr ρ 1+t
h
Ahora ρ U † 2tΛ U = ρ(U † 2−Λ U )−t = ρ1+t
t
Entonces, `t (C(ρ)) = S 1 (ρ) + S1+t (ρt kσ) − log β ⇒ ∀ U, `t (C(ρ)) ≥ S 1 (ρ)

1+t 1+t

S. Zozor

Largo de Campbell
1−α
log2 Tr(ρα )
1+t 1+t
1
U † 2− U ρ 1+t
σ= with β = Tr(U † 2−Λ U ), ρt = 1
Tr ρ 1+t
β
1 i1+t
h
t

1+t 1+t
d− log2 ρi,t e < − log2 ρi,t + 1 ⇒ `t (Ctsh (ρ)) < S 1 (ρ) + 1
1+t

S. Zozor

Largo de Campbell
1−α
log2 Tr(ρα )
1+t 1+t
1
U † 2− U ρ 1+t
σ= with β = Tr(U † 2−Λ U ), ρt = 1
Tr ρ 1+t
β
1 i1+t
h
t

1+t 1+t
1+t
Casos limites

S. Zozor

Largo de Campbell
1−α
log2 Tr(ρα )
1+t 1+t
1
U † 2− U ρ 1+t
σ= with β = Tr(U † 2−Λ U ), ρt = 1
Tr ρ 1+t
β
1 i1+t
h
t

1+t 1+t
1+t
Casos limites
t → 0 ⇒ S1 (ρ) ≡ S(ρ) = − Tr(ρ log2 ρ) von Neumann

S. Zozor

Largo de Campbell
1−α
log2 Tr(ρα )
1+t 1+t
1
U † 2− U ρ 1+t
σ= with β = Tr(U † 2−Λ U ), ρt = 1
Tr ρ 1+t
β
1 i1+t
h
t

1+t 1+t
1+t
Casos limites
t → 0 ⇒ S1 (ρ) ≡ S(ρ) = − Tr(ρ log2 ρ) von Neumann
t → ∞ ⇒ S0 (ρ) ≡ − log2 Rk(ρ)

S. Zozor
Accepted:
Entropı́a – medida de 21incerteza
September 2017
Received: 2 May 2017
interpretation of the quantum
Información mutuaPublished:
Rényi entropy
xx xx xxxx
– divergencias Entropı́as de Salicrú y casos particulares
Entropı́as cuánticas
Guido Bellomo1
, Gustavo M.generalizadas y 2 propiedades
Bosyk2, Federico Holik & Steeve Zozor3
Based on the problem of quantum data compression in a lossless way, we present here a
Compresión cuántica: Exp. & largo promedio interpretation for the family of quantum Rényi entropies. In order to do this, we appeal t
quantum encoding scheme that satisfies a quantum version of the Kraft-McMillan inequa
the standard situation, where one is intended to minimize the usual average length of th
codewords, we recover the known results, namely that the von Neumann entropy of the
Largo promedio the average length of the optimal codes. Otherwise, we show that by invoking an expon
length, related to an exponential penalization over large codewords, the quantum Rény
as the natural quantities relating the optimal encoding schemes with the source descript
analogous role to that of von Neumann entropy.
One of the main concerns in classical and quantum information theory is the problem of enco
by using fewest resources as possible. This task is known as data compression and it can be c

0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless way, depending on whether the original data can be recovered with o
respectively.
Here, we are interested in lossless quantum data compression. In order to state our proposa
how this task works in the classical domain. The mathematical foundations of classical data co
found in the seminal paper of Shannon1 (see e.g.2 for an introduction to the topic), although we
as follows. Let S = {pi , si} be a classical source where each symbol si has associated a probability
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , k − 1} in an
particular, a k-ary classical code c of S is said uniquely decodable if this assignment of codewor
any possible concatenation. A celebrated result states that any uniquely decodable code necess
Kraft-McMillan inequality3,4: ∑ i k−i ≤ 1 where i is the length of the codeword c(si ) (measure
Conversely, given a set of codewords lengths {i }, there exists a uniquely decodable code with th
lossless data compression consists in finding a uniquely decodable code taking into account the s
tion of the source. Formally, this is carried out by minimizing the average codeword length L =
Combinación convexa de S 1 (ρ) (largo de Campbell) & S(ρ) (largo promedio)
www.nature.com/scientificreports
the Kraft-McMillan inequality. In the end, one obtains a variable-length code where shorte
t+1 assigned to symbols with a high probability of occurrence, whereas larger codewords are assigne
low probability (see2, chap. 5). Moreover, one has that (in the limit of the large number of i
identically-distributed sources) the average length of the optimal code is arbitrarily close to the
of the source, H (p) = −∑ i pi logkpi .
As noticed by Campbell, the previous solution has the disadvantage that it can happen th
length turns out to be very large for symbols with a sufficiently low probability of occurrence5. I
OPEN Lossless quantum data 1
CONICET-Universidad de Buenos Aires, Instituto de Investigación en Ciencias de la Computac
compression with exponential Aires, Argentina. 2Instituto de Física La Plata, UNLP, CONICET, Facultad de Ciencias Exactas, Cas
penalization: an operational 1900 La Plata, La Plata, Argentina. 3Univ. Grenoble Alpes, CNRS, Grenoble INP Institute of Eng
Lab, 38000, Grenoble, France. Correspondence and requests for materials should be addressed
Accepted: 21 September 2017 interpretation of the quantum gbosyk@fisica.unlp.edu.ar)
Rényi entropy
Published: xx xx xxxx
Guido Bellomo1, Gustavo M. Bosyk2, Federico Holik2 & Steeve Zozor3 Scientific Reports | 7: 14765 | DOI:10.1038/s41598-017-13350-y
Based on the problem of quantum data compression in a lossless way, we present here an operational
interpretation for the family of quantum Rényi entropies. In order to do this, we appeal to a very general
S. Zozor
Elementos
quantum introductorios
encoding scheme that satisfies a quantum version of the Kraft-McMillan ainequality.
la Then, teorı́a
in de la información
Accepted:
September 2017
Rényi entropy
xx xx xxxx
Guido Bellomo1
Sα relating the optimal encoding schemes with the source descript
as the natural quantities

0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
respectively.
found in the seminal paper
• of Shannon (see e.g. for an introduction to the topic), although we
1 2
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , kα− 1} in an
particular, a k-ary classical code c of S is said uniquely decodable
1 = 1+t 1 assignment of codewor
if this
Rényi entropy
S. Zozor
Elementos
la Then, teorı́a
Accepted:
September 2017
Rényi entropy
xx xx xxxx
Guido Bellomo1

0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
respectively.
• in lossless quantum data compression. In order to state our proposa
Here, we are interested
how this task works in•the classical domain. The mathematical foundations of classical data co
1 2
1
particular, a k-ary classical code c of S is said uniquely decodable 1if this assignment of codewor
any possible concatenation. A1+t celebrated result states that any uniquely decodable code necess
Rényi entropy
S. Zozor
Elementos
la Then, teorı́a
Accepted:
September 2017
Rényi entropy
xx xx xxxx
Guido Bellomo1

0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless•way, depending on whether the original data can be recovered with o
respectively. •
1 2
1
particular, a k-ary classical code c of S is said uniquely decodable1if this assignment of codewor
any possible concatenation. 1+t A celebrated result states that any uniquely decodable code necess
Rényi entropy
S. Zozor
Elementos
la Then, teorı́a
Accepted:
September 2017
Rényi entropy
xx xx xxxx
Guido Bellomo1
•

0 ≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
respectively.
1 2
1
particular, a k-ary classical
1+t
→ code 0 c of S is said uniquely decodable1if this assignment of codewor
Rényi entropy
S. Zozor
Elementos
la Then, teorı́a
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Programa
Aplicaciones
Divergencias
Cadenas de Markov
S. Zozor
Entropı́a condicional
Información en común?
Sean X e Y con entropı́a/incerteza resp. H(X) y H(Y )
¿Cuánta información comparten X e Y ?
S. Zozor
¿Conociendo Y , qué incerteza queda sobre X?
S. Zozor
X,Y
pk,l
h i
X|Y =l X|Y =l X|Y =l
Probabilidad condicional pk = pY
, pX|Y =l = p1 · · · pN
l
X X
H(X|Y ) = pY =l H pX|Y =l = − pX=k,Y =l log pX=k|Y =y
l k,l
S. Zozor
X,Y
pk,l
h i
X|Y =l X|Y =l X|Y =l
Probabilidad condicional pk = pY
, pX|Y =l = p1 · · · pN
l
X X
H(X|Y ) = pY =l H pX|Y =l = − pX=k,Y =l log pX=k|Y =y
l k,l
H(X|Y )
H(Y )
H(X, Y ) = H(X|Y ) + H(Y )
H(X)
diagrama de Venn
S. Zozor
Información mutua
Jugando con el diagrama de Venn. . .
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A
H(Y )
H(X)
S. Zozor
Información mutua
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A
H(Y )
@
I
@
H(X) H(X) − H(X|Y ) H(X) − H(X|Y )
S. Zozor
Información mutua
H(Y |X)
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A = H(Y |X) + H(X)
H(Y )
@
I
@
H(X) H(X) − H(X|Y ) H(X) − H(X|Y ) = H(Y ) − H(Y |X)
=
H(Y ) − H(Y |X)
S. Zozor
Información mutua
H(Y |X)
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A = H(Y |X) + H(X)
H(Y )
@
I
@
H(X) H(X) − H(X|Y ) H(X) − H(X|Y ) = H(Y ) − H(Y |X)
=
H(Y ) − H(Y |X)
Información mutua
I(X; Y ) = H(X) − H(X|Y ) = H(Y ) − H(Y |X) = H(X) + H(Y ) − H(X, Y )

pX,Y
!
X X,Y k,l
I(X; Y ) = pk,l log X Y
k,l
pk pl
S. Zozor
Para jugar. . .
Ejemplos
Ejemplo 1 Ejemplo 2 Ejemplo 3
X X X
1 2 1 2 1 2
Y Y Y
1 1 1 3 1 1 3
0 4 16 16
0 4
2 3 2 9 3 2 1 1
4
0 16 16 8 8
Entropı́as e información
Evalúa en estos ejemplos
las entropı́as H(X), H(Y ) y H(X, Y ),
las entropı́as condicionales H(X|Y ) y H(Y |X),
la información mutua I(X; Y ).
Comenta los resultados.
S. Zozor
El canal gaussiano
Transmisión de una señal
G
Transmisión de X a través de un canal con ruido

X Y
Observación Y = X + G con
G gaussiana de matriz de covarianza R,
X ∼ pX independiente del ruido G,
potencia total de la señal acotada, E[X t X] ≤ PX ,
sin pérdida de generalidad, E[X] = E[G] = 0.
Transmisión óptima
¿Cuál es la información mutua I(X; Y ) máxima?
C = max I(X; Y ) es la capacidad del canal
pX
¿Cuál es la distribución pX que permite alcanzar este lı́mite? Da la expresión

completa de pX en el contexto escalar.
S. Zozor
El canal binario simétrico

Transmisión binaria
X Y
p
-1 -1
Transmisión de X ∈ {−1 ; +1} ∼ p = (α, 1 − α) 1−p
en un canal binario 1
1−q
1
q
Capacidad y α óptimo
Dado el canal (dados p y q), determina α? = argmaxα I(X; Y ).
¿Cual es la capacidad del canal C = maxα I(X; Y )?
¿Cuánto vale α? en el contexto simétrico p = q (canal binario simétrico)?
¿Cuál es la capacidad del canal es este contexto simétrico?
Una representación de tal canal puede ser la siguiente,
G
σY
X −σY Y
0
X ∈ {−σX , σX } emitidos a través del canal gaussiano, G ∼ N (0, σ 2 ).

En este caso, determina p, q y concluye.
S. Zozor
En el contexto clásico. . .
S. Zozor
A partir de la probabilidad condicional

J
(X|Y ) = l pYl H(h,φ) pX|Y =l
P
Entropı́a relativa: H(h,φ)
J
Información mutua: J(h,φ) (X; Y ) = H(h,φ) (X) − H(h,φ) (X|Y )
Si h es cóncava, se garantiza J(h,φ) ≥ 0. . . J(h,φ) no es simétrica. . .
S. Zozor

J
P
J
A partir de la “regla de cadena”

I
Entropı́a relativa: H(h,φ) (X|Y ) = H(h,φ) (X, Y ) − H(h,φ) (Y )
I
Información mutua: I(h,φ) (X; Y ) = H(h,φ) (X) − H(h,φ) (X|Y )
I(h,φ) es simétrica, pero no se garantiza I(h,φ) ≥ 0. . .
S. Zozor

J
P
J
A partir de la “regla de cadena”

I
Entropı́a relativa: H(h,φ) (X|Y ) = H(h,φ) (X, Y ) − H(h,φ) (Y )
I
Información mutua: I(h,φ) (X; Y ) = H(h,φ) (X) − H(h,φ) (X|Y )
I(h,φ) es simétrica, pero no se garantiza I(h,φ) ≥ 0. . .
Coinciden sólo en el caso Shannon. . .
S. Zozor
En el contexto cuántico. . .
B B
A|Πj
ΠB medida proyectiva local: ρA|Π = pB
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j = Tr I ⊗ Πj ρ , pB
j
S. Zozor
B B
A|Πj
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j
A partir del estado condicional

A|ΠB
Entropı́a relativa a ΠB : H J B
P B
(h,φ) A|Π = j p j H (h,φ) ρ j
Entropı́a relativa a B: H J J B

(h,φ) (A|B) = min{ΠB } H (h,φ) A|Π
S. Zozor
B B
A|Πj
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j

A|ΠB
P B

A partir de la regla de cadena

Entropı́a relativa: H I(h,φ) (A|B) = H (h,φ) (A, B) − H (h,φ) (B)
S. Zozor
B B
A|Πj
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j

A|ΠB
P B

A partir de la regla de cadena

Entropı́a relativa: H I(h,φ) (A|B) = H (h,φ) (A, B) − H (h,φ) (B)
No coinciden. . . aún el el caso de von Neuman. . .
S. Zozor
Divergencia de Kullback-Leibler
Divergencia de Kullback-Leibler o entropı́a relativa

“Distancia” entre distribuciones de probabilidad p y q

X pk
DKL (pkq) = pk log
qk
k
S. Zozor
Divergencia de Kullback-Leibler o entropı́a relativa

“Distancia” entre distribuciones de probabilidad p y q

X pk
DKL (pkq) = pk log
qk
k
Propiedades
No simétrica: q sirve de “referencı́a” (entropı́a relativa a q)
DKL ≥ 0 (tanto discreto como continuo)
DKL = 0 ⇔ p = q (a.e.),
Información mutua: I(X; Y ) = DKL (pX,Y kpX pY ) (simétrica):
I(X; Y ) ≥ 0 con igualdad si y solo si X e Y son independientes.
S. Zozor
Divergencias de Csizàr (clásica. . . )

(h, φ)-divergencias, Ali-Silvey’66, Csizàr’67

p
D(h,φ) ( pk q) = h Eq φ φ convexa y h creciente . . .
q
S. Zozor
Divergencias de Csizàr (clásica. . . )

(h, φ)-divergencias, Ali-Silvey’66, Csizàr’67

p
D(h,φ) ( pk q) = h Eq φ φ convexa y h creciente . . .
q
Casos particulares
φ(l) = l log l : Kullback-Leibler
φ(l) = (l − 1) log l : Jeffrey (KL sı́metrizada)
φ(l) = 2l log l − l+1 log l+1

2 2
: Jensen-Shannon (clasificación, fı́sica)
φ(l) = |π0 − π1 l| : Kolmogorov (Pe,min detección)
φ(l) = lλ y h = 1
λ−1
log : Rényi
lα −1
φ(l) = α−1
: (Tsallis) Hellinger (clasificación, estimación)
φ(l) = −lα , 0 < α < 1 : Chernoff; α = 1

2
: Bhattacharya (clasif., detec.)
φ(l) = |l − 1|α , α ≥ 1 (Vajda’73); α = 1: variación total; α = 2: Pearson
S. Zozor
Foco sobre la información de Fisher

Matriz de información de Fisher
Sea X ∼ pθ parametrizada por θ.
Por definición la matriz de información de Fisher es
Jθ (X) = E (∇θ log pθ ) (∇θ log pθ )t

Es la covarianza de la función score Sθ = ∇θ log pθ

A veces se define la información de Fisher como Tr (Jθ )
S. Zozor
Foco sobre la información de Fisher

Matriz de información de Fisher
Sea X ∼ pθ parametrizada por θ.
Por definición la matriz de información de Fisher es
Jθ (X) = E (∇θ log pθ ) (∇θ log pθ )t

Es la covarianza de la función score Sθ = ∇θ log pθ

A veces se define la información de Fisher como Tr (Jθ )
Información no paramétrica de Fisher

Si θ es la posición, pθ (x) = p(x − θ), entonces ∇θ pθ = −∇x pθ :
Se define la información no paramétrica de Fisher como:
J(X) = E (∇x log pθ ) (∇x log pθ )t

No paramétrica porque no depende de la posición θ. . .

1
Información: J(aX) = 2 J(X) ⇒ lim J(aX) = 0
a a→+∞
S. Zozor
Divergencias ý información de Fisher

Estimación de un parametro y divergencia
Sea X ∼ pθ0 donde θ0 ∈ Dθ . Obj: estimar θ0 a partir de la observación de X.
D(h,φ) ( pθ k pθ0 ) ≥ 0 y se anula si y sólo si θ = θ0 .

⇒ ∇θ D(h,φ) ( pθ k pθ0 )θ = 0 y el Hessiano satiface Hθ D(h,φ) ( pθ k pθ0 )θ ≥ 0
0 0
S. Zozor
Divergencias ý información de Fisher

Estimación de un parametro y divergencia
Sea X ∼ pθ0 donde θ0 ∈ Dθ . Obj: estimar θ0 a partir de la observación de X.
D(h,φ) ( pθ k pθ0 ) ≥ 0 y se anula si y sólo si θ = θ0 .

⇒ ∇θ D(h,φ) ( pθ k pθ0 )θ = 0 y el Hessiano satiface Hθ D(h,φ) ( pθ k pθ0 )θ ≥ 0
0 0
Fisher como la curvatura de la divergencia

Se prueba (φ, h suficientemente “suaves”) que
Hθ D(h,φ) ( pθ k pθ0 ) = φ00 (1)h0 (0)Jθ0 (X), i.e.,

θ0
φ00 (1)h0 (0)

− θ0 )t Jθ0 (X) (θ − θ0 ) + o kθ − θ0 k2

D(h,φ) ( pθ k pθ0 ) = 2
(θ
Df (pθ kpθ0 ) Df (pθ kpθ0 )
θ θ
J , “alta incerteza” J , “baja incerteza”
S. Zozor
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Programa
Aplicaciones
Divergencias
Cadenas de Markov
S. Zozor
Shannon y vinculos simples
X ∈ D (tanto discreta como continua) con vol D < ∞,
H(X) ≤ log vol D (uniforme)
X ∈ Rd dada una matriz de covarianza R,

1
H(X) ≤ log (2πe)d |R| (gaussiana)
2
S. Zozor
Shannon y vinculos simples
X ∈ D (tanto discreta como continua) con vol D < ∞,
H(X) ≤ log vol D (uniforme)
X ∈ Rd dada una matriz de covarianza R,

1
H(X) ≤ log (2πe)d |R| (gaussiana)
2
max
Entropı́a máxima: H(h,φ) (X) ≤ H(h,φ)
Cualquier distribución de probabilidad puede ser vista como la de entropı́a

máxima dado un vı́nculo “adecuado” (ej. el promedio da la ley exponencial;
un vı́nculo logarı́tmico da la ley de Cauchy)
Se puede (a veces) ver una distribución como la de una entropı́a “adecuada”
(Salicrú) máxima dado un vinculo “simple” (ej. varianza y entropı́a de Rényi
dando la ley de Student).
S. Zozor
Reglas de la cadena
Entropı́a (Shannon)
X
H(Xn , . . . , X1 ) = H(Xi |Xi−1 , . . . , X1 )
i
Prueba: H(Xn , Xn−1 , . . . , X1 ) = H(Xn |Xn−1 , . . . , X1 ) + H(Xn−1 , . . . , X1 ),. . .
S. Zozor
Reglas de la cadena
Entropı́a (Shannon)
X
H(Xn , . . . , X1 ) = H(Xi |Xi−1 , . . . , X1 )
i
Prueba: H(Xn , Xn−1 , . . . , X1 ) = H(Xn |Xn−1 , . . . , X1 ) + H(Xn−1 , . . . , X1 ),. . .
Información mutua
X
I(Xn , . . . , X1 ; Y ) = I(Xi ; Y |Xi−1 , . . . , X1 )
i
Prueba: I(X; Y ) = H(X) + H(Y ) − H(X, Y ). . .
X
DKL (p(xn , . . .)kq(xn , . . .)) = DKL (p(xi |xi−1 , . . .)kq(xi |xi−1 , . . .))
i
Prueba: p(x, y) = p(x|y)p(y). . .
S. Zozor
Condicionando. . .
A partir de las reglas de cadena. . .
Condicionar reduce la entropı́a:
H(X|Y ) ≤ H(X) con igualdad sii X e Y son independientes
La incerteza global es menor que la suma de las incertezas individuales:

n
X
H(X1 , . . . , Xn ) ≤ H(Xi ) con igualdad sii los Xi son independientes
i=1
S. Zozor
Condicionando. . .
A partir de las reglas de cadena. . .
Condicionar reduce la entropı́a:
H(X|Y ) ≤ H(X) con igualdad sii X e Y son independientes
La incerteza global es menor que la suma de las incertezas individuales:

n
X
H(X1 , . . . , Xn ) ≤ H(Xi ) con igualdad sii los Xi son independientes
i=1
Algunas consecuencias. . .
Señal estacionaria:
H(X1 , . . . , Xn )
H(X) = lim ≤ H(X1 )
n→∞ n
con igualdad si y sólo si los Xi son independientes
¡Desigualdad de Hadamard!
Y
∀ R hermı́tica, |R| ≤ Ri,i
i
S. Zozor
Desigualdades y cadenas de Markov

Definición
Una secuencia X 7→ Y 7→ Z es una cadena de Markov si
p(x, z|y) = p(x|y)p(z|y) ⇔ p(z|x, y) = p(z|y) o p(x|y, z) = p(x|y)
Proceso de Markov: X1 7→ . . . Xn 7→ . . . : p(xi |xi−1 ) probab. de transición
S. Zozor

Definición
Proceso de Markov y entropı́as/divergencias

Teorema de procesado de datos (Data Processing Theorem):
X 7→ Y 7→ Z ⇒ I(X; Y ) ≥ I(X; Z)
S. Zozor

Definición

X 7→ Y 7→ Z ⇒ I(X; Y ) ≥ I(X; Z)
Ejemplo: X 7→ Y 7→ f (Y ) , entonces I(X; Y ) ≥ I(X; f (Y ))
El procesado de datos puede sólo deteriorar la información
S. Zozor

Definición

X 7→ Y 7→ Z ⇒ I(X; Y ) ≥ I(X; Z)
2da ley de la termodinámica (sistema aislado → H crece)
Sean un proceso de Markov {Xn } y 2 cond. inic. tq Xn ∼ pn o Xn ∼ qn
S. Zozor

Definición

X 7→ Y 7→ Z ⇒ I(X; Y ) ≥ I(X; Z)
DKL (pn+1 kqn+1 ) ≤ DKL (pn kqn )
S. Zozor

Definición

X 7→ Y 7→ Z ⇒ I(X; Y ) ≥ I(X; Z)
si p∗ es una distrib. estacionaria: DKL (pn+1 kp∗ ) ≤ DKL (pn kp∗ )
S. Zozor

Definición

X 7→ Y 7→ Z ⇒ I(X; Y ) ≥ I(X; Z)
si p∗ es una distrib. estacionaria: DKL (pn+1 kp∗ ) ≤ DKL (pn kp∗ )
p? MaxEnt: H(Xn+1 ) ≥ H(Xn )
S. Zozor
Ejercicio sobre un proceso de Markov

Proceso homogéneo de Markov
Sea un proceso Markov {Xn } caracterizado por su matriz de
homogéneo de
α 1−β
transición P = que no depende de n.
1−α β
Régimen estacionario y 2da ley de la termodinámica

Evaluá el(los) vector(es) de probabilidad p∗ estacionario(s). ¿Para cuál(es)
condición(es) uno de estos es uniforme?
Canal sin error α = β = 1: ¿Qué pasa con H(Xn ) & DKL (pn kqn ) vs n?
Canal “inversor” α = β = 0: ¿Qué pasa con H(Xn ), DKL (pn kqn ) &
DKL (pn kp∗ ) vs n? ¿Qué pasa con pn ?
Considera ambos α 6= 0, 1 & β 6= 0, 1:
Prueba que pn → p∗ cuando n → +∞.
0.3
En el caso particular α = 0.7, β = 0.5 & p0 = , calcula H(X0 ),
0.7
H(X1 ), H(X2 ) & H(X∞ ) y concluye.
S. Zozor
Desigualdad de la potencia entrópica (EPI)

Formulación usual
Sean X e Y independientes, continuas sobre Rd .
¿Cómo se relacionan H(X + Y ) con H(X) y H(Y )?
S. Zozor

Formulación usual
N (X + Y ) ≥ N (X) + N (Y ) (no trivial)
con igualdad si y sólo si X e Y son gaussianas con RY ∝ RX
S. Zozor

Formulación usual
Formulaciones alternativas
Sean X e & Ye gaussianas independientes con covarianzas proportionales
y tal que H(X)e = H(X) & H(Ye ) = H(Y ),
H(X + Y ) ≥ H(X e + Ye )
Desigualdad de preservación de la covarianza:
√ √
H( λ X + 1 − λ Y ) ≥ λH(X) + (1 − λ)H(Y )
S. Zozor

Formulación usual
Formulaciones alternativas
Sean X e & Ye gaussianas independientes con covarianzas proportionales
y tal que H(X)e = H(X) & H(Ye ) = H(Y ),
H(X + Y ) ≥ H(X e + Ye )
Desigualdad de preservación de la covarianza:
√ √
H( λ X + 1 − λ Y ) ≥ λH(X) + (1 − λ)H(Y )
Algunas consecuencias
Varias desigualdades matriciales se deducen de la EPI.
1 1 1
Ej. Minkovsky: ∀ R1 , R2 hermı́ticas:|R1 + R2 | d ≥ |R1 | d + |R2 | d
S. Zozor
Estimación: Fisher y covarianza

Desigualdad de Cramér-Rao
Sea X ∼ pθ0 donde θ0 ∈ Dθ . Queremos estimar θ0 .
Sea un estimador θb0 (X) de θ0 , sin bias (E[θb0 ] = θ0 ), y de covarianza Rθ0 ,
Rθ0 − Jθ0 (X)−1 ≥ 0 (RX − J(X)−1 ≥ 0)
En el caso escalar, σθ2b ≥ 1

Jθ0 (X)
0
S. Zozor
Estimación: Fisher y covarianza

Desigualdad de Cramér-Rao
Sea X ∼ pθ0 donde θ0 ∈ Dθ . Queremos estimar θ0 .
Sea un estimador θb0 (X) de θ0 , sin bias (E[θb0 ] = θ0 ), y de covarianza Rθ0 ,
Rθ0 − Jθ0 (X)−1 ≥ 0 (RX − J(X)−1 ≥ 0)
En el caso escalar, σθ2b ≥ 1

Jθ0 (X)
0
Prueba
Jθ0 (X) = E[Sθ0 (X)Sθ0 (X)t ] con la función score Sθ0 = ∇θ0 log pθ0
t
Se muestra que E Sθ0 (X) θb0 − θ0 =I
t
Cauchy-Schwartz: E ut Sθ0 (X) θb0 − θ0 v ≤ ut Jθ0 (X)u v t Rθ0 v
La prueba se acaba tomando u = Jθ−1

0
v.
S. Zozor
Identidad de deBruijn (o de Stam)

Identidad de deBruijn
√
εG
Sea X & G ∼ N (·, I) independiente de X:
X Y
∂ √ 1 √
H(X + εG) = J(X + εG)
∂ε 2
S. Zozor

√
εG
X Y
∂ √ 1 √
H(X + εG) = J(X + εG)
∂ε 2
Consecuencias
Desigualdad isoperimétrica entrópica
J(X)N (X) ≥ d
d2
“Cramér-Rao” sobre la suma de las varianzas Tr(RX ) ≥ Tr(J(X))
S. Zozor

√
εG
X Y
∂ √ 1 √
H(X + εG) = J(X + εG)
∂ε 2
Consecuencias
Desigualdad isoperimétrica entrópica
J(X)N (X) ≥ d
d2
“Cramér-Rao” sobre la suma de las varianzas Tr(RX ) ≥ Tr(J(X))
Versión à la Verdú
s G
∂ 1
I(X; Y ) = E (X − E [ X | Y ])2

Verdú’05: X Y
∂s 2
S. Zozor
Unas referencias. . .
C. E. Shannon, A Mathematical Theory of Communication, The Bell System

Technical Journal, 27: 623-656, 1948
A. Rényi, On measures of entropy and information in Proc. of the 4th
Berkeley Symposium on Math. Stat. and Probab., 1: 547-561, 1961
J. Havrda & F. Charvát, Quantification Method of Classification Processes:
Concept of Structural α-Entropy, Kybernetika, 3: 30-35, 1967
Z. Daróczy, Generalized Information Functions, Information and Control, 16:
36-51, 1970
C. Tsallis, Possible Generalization of Boltzmann-Gibbs Statistics, Journal of
Statistical Physics, 52: 479-487, 1988
M. Salicrú, Funciones de entropı́a asociada a medidas de Csiszár, Qüestiió,
11: 3-12, 1987 [Measures of information associated with Csiszár’s divergences,
Kybernetica, 30: 563-573, 1994]
S. Zozor
S. Kullback & R. Leibler, On information and sufficiency, The Annals of
Mathematical Statistics, 22: 79-86, 1951
I. Csiszàr, Information-Type Measures of Difference of Probability
Distributions and Indirect Observations, Studia Scientiarum
Mathematicarum Hungarica, 2: 299-318, 1967
D. K. Fadeev (A. Feinstein Ed.), Fundations in Information Theory; On the
concept of entropy of a finite probabilistic scheme (English traduction),
McGraw-Hill, 1958
E. T. Jaynes, Information Theory and Statistical Mechanics, Physical
Review, 106: 620-630, 1957
P. Jizba & T. Arimitsu, The world according to Rényi: thermodynamics of
multifractal systems, Annals of Physics, 312: 17-59, 2004
T. M. Cover & J. A. Thomas, Elements of Information Theory, John Wiley
& Sons, 2006
B. R. Frieden, Science from Fisher Information: A Unification, Cambridge
University Press, 2004
S. Zozor
G. M. Bosyk, S. Zozor, F. Holik, M. Portesi & P. W. Lamberti, A family of

generalized quantum entropies: definition and properties, Quantum
Information Processing, 15: 3393-3420, 2016
G. Bellomo, G. M. Bosyk, F. Holik and S. Zozor, Lossless quantum data
compression with exponential penalization: an operational interpretation of
the quantum Rényi entropy, Scientific Reports, 7: 14765, 2017
S. Zozor

Curso - TI - LaPlata - 2018 PDF

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Curso - TI - LaPlata - 2018 PDF

Diunggah oleh

Hak Cipta:

Format Tersedia

Elementos introductorios a la teorı́a de

GIPSA-Lab – CNRS & Grenoble INP, Grenoble, France

N particulas en un volumenP Λ; cada particula i tiene su velocidad vi . ¿Repartición

Entropı́a de Shannon, 1948

no hay ninguna incerteza incerteza máxima

Entropı́a de Shannon, 1948

no hay ninguna incerteza incerteza máxima

Entropı́a de Shannon, 1948

no hay ninguna incerteza incerteza máxima

H(pX ⊗ pY ) = H(pX ) + H(pY )

Entropı́a de Shannon, 1948

no hay ninguna incerteza incerteza máxima

La única solución es:

Consecuencia, 0 ≤ H ≤ log N con

Consecuencia, 0 ≤ H ≤ log N con

∀g biyectiva, H(g(X)) = H(X): independencia vs los estados

Consecuencia, 0 ≤ H ≤ log N con

∀g biyectiva, H(g(X)) = H(X): independencia vs los estados

H(λp + (1 − λ)q) ≥ λH(p) + (1 − λ)H(q)

Largo promedio óptimo L?

Extensión al caso continuo

Extensión al caso continuo

Relación con la entropı́a (estados discretos, escalar):

Extensión al caso continuo

Relación con la entropı́a (estados discretos, escalar):

Extensión al caso continuo

Relación con la entropı́a (estados discretos, escalar):

Algunas propiedades del caso continuo

Algunas propiedades del caso continuo

Algunas propiedades del caso continuo

Algunas propiedades del caso continuo

Algunas propiedades del caso continuo

Algunas propiedades del caso continuo

Algunas propiedades del caso continuo

Entropı́as de Salicrú, 1992

Entropı́as de Salicrú, 1992

Entropı́as de Salicrú: propiedades

Entropı́as de Salicrú: propiedades

Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Punto de vista axiomatico

Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Punto de vista axiomatico

Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Punto de vista axiomatico

Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Punto de vista axiomatico

Rényi’61 – Havrda–Charvát’67 – Daróczy’70, – Tsallis’88

Punto de vista axiomatico

Tsallis’88: Inspiración del análisis fractal

Caso Fλ : algunas propiedades más

Caso Fλ : algunas propiedades más

X ∈ Rd , maximizantes dada una covarianza R:

Caso Fλ : algunas propiedades más

X ∈ Rd , maximizantes dada una covarianza R:

Cuantificación y distorsión, Panter & Dite’51, Zador ’63

Problema de cuantificación óptima en alta resolución

Cuantificación y distorsión, Panter & Dite’51, Zador ’63

Problema de cuantificación óptima en alta resolución

Cuantificación y distorsión, Panter & Dite’51, Zador ’63

Problema de cuantificación óptima en alta resolución

Densidad λ de umbrales y solución

Cuantificación y distorsión, Panter & Dite’51, Zador ’63