Tema 07

Tema 7 Bibliotecas externas
Curso de Python Avanzado Juan Pedro Bol Puente var

Instituto de Astrof sica de Andaluc a
Mayo de 2011
Juan Pedro Bol var Puente (Instituto de Astrof sica de Andaluc Tema 7 Bibliotecas externas a) Mayo de 2011 1 / 43
Indice
1 2 3 4 5 6
Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a
Juan Pedro Bol var Puente (Instituto de Astrof sica de Andaluc Tema 7 Bibliotecas externas a)
Mayo de 2011
2 / 43
Introduccin o
Indice
1 2 3 4 5 6
Mayo de 2011
3 / 43
Introduccin o
Introduccin o Python no es siempre suciente!

Motivos ... Rendimiento Paralelismo Reutilizacin o Cdigo legacy o
Mayo de 2011
4 / 43
Introduccin o
Extensiones de Python Una extensin es un mdulo escrito en C o o

Problemas ... No suele funcionar fuera de cpython Requiere mucho cdigo o Ejemplos de la cabecera <Python.h>
PyObject* obj PyArg ParseTuple Py INCREF, Py DECREF Py InitModule, PyModule AddObject
Mayo de 2011 5 / 43
Introduccin o
Ejemplo de extensin en Python o

# include < Python .h > static PyObject *
mymod_func ( PyObject * self , PyObject * args ) { PyObject *a , * b ; if (! PyA rg_Unp ackTu ple ( args , " func " ,2 ,2 ,&a ,& b )) return NULL ; return PyNumber_Add (a , b ); }
static PyMethodDef mymod_methods [] = {

{ " func " , some_func , METH_VARARGS , " Una funcion " } , { NULL , NULL } };
Introduccin o
Ejemplo de extensin en Python o
PyMODINIT_FUNC init_mymod ( void ) { Py_InitModule3 ( " mymod " , mymod_methods , " Some module " ); }
Mayo de 2011
7 / 43
Introduccin o
SWIG Genera todo el cdigo redundante desde o una descripcin de alto nivel o
Ventajas ... Abstrae la generacin de cdigo o o Usado en proyectos serios Tambin sirve para PHP, Perl, Ruby, Lisp, Java... e
Mayo de 2011
8 / 43
Introduccin o
SWIG Genera todo el cdigo redundante desde o una descripcin de alto nivel o
Desventajas ... Requiere aprender su lenguaje Cdigo generado por ordenador... o
Dif de leer cil Infernal para depurar
Aade pasos y dependencias n

Introduccin o
Ejemplo de mdulo en SWIG o

Interfaz example.i
%module example %{ extern double My_variable ; extern int fact ( int n ); extern char * get_time (); %} extern double My_variable ; extern int fact ( int n ); extern char * get_time ();
Mayo de 2011
9 / 43
Introduccin o
Ejemplo de mdulo en SWIG o

A menudo basta...
%module example %{ # include " header .h" %} %include " header . h "
Y para generar...
$ swig -python example.i $ gcc -c example.c example_wrap.c \ -I/usr/local/include/python2.1
Introduccin o
... bienvenido a ctypes Hacemos la interfaz desde Python!

Ventajas... Podemos usar directamente cualquier .dll, .so, .dylib No hay que salir de Python Inclu en la biblioteca estndar do a Interacciona bien con NumPy! Python 2.5
Mayo de 2011
11 / 43
Librerias
Indice
1 2 3 4 5 6
Mayo de 2011
12 / 43
Librerias
Librerias en ctypes Una librer es un objeto Python as

ctypes.CDLL (name, mode, handle) Librer compartidas con estilo C as
Por ejemplo Fortran tambin usa esta esta convencin e o
ctypes.PyDLL (name, mode, handle) Librer con extensiones de Python as

El GIL no se libera ...
Otros... En Windows... WINDLL, OLEDLL
Mayo de 2011
13 / 43
Librerias
Parntesis e
Compilar bibliotecas suele requerir parmetros especiales, a en GNU/Linux esto es ... Compilar objeto de biblioteca compartida $ gcc -fPIC -c -o fichero.o fichero.c Enlazar biblioteca compartida $ ld -shared -ldl -o fichero.so fichero.o ... Ver script cclib en el cdigo adjunto... o
Mayo de 2011
14 / 43
Librerias
El cargador de bibliotecas Mejor usar ctypes.LibraryLoader

Accesible desde ctypes.[cdll|pydll] Provee LoadLibrary Sobrecarga el operador [ ] Sobrecarga gettattr Cachea resultados!
Mayo de 2011
15 / 43
Librerias
Ejemplillo
import ctypes
_cstd = ctypes . cdll [ libc . so .6 ] _cmath = getattr ( ctypes . cdll , libm . so .6 ) _cstd . printf ( " Hola mundo ! " )
Las funciones son atributos del objeto biblioteca

Librerias
Buscando bibliotecas ctypes.util.find library busca una biblioteca

En Linux usa gcc, ldconfig y objdump En Mac simplemente busca en los sitios t picos En Windows busca en sitios t picos, pero no tiene esquema de nombres y casca mucho En nuestras propias bibliotecas hardcodead el nombre en tiempo de instalacin o
Librerias
Ejemplillo
import ctypes from ctypes . util import find_library
_cstd = ctypes . cdll [ find_library ( c )] _cmath = getattr ( ctypes . cdll , find_library ( m )) _cstd . printf ( " Hola mundo ! " )
Mayo de 2011
18 / 43
Funciones
Indice
1 2 3 4 5 6
Mayo de 2011
19 / 43
Funciones
Funciones ... Las funciones son atributos del objeto CDLL/PyDLL

Tienen tipo ctypes. FuncPtr Son structurecallables normales Hay que convertir los parmetros a
Mayo de 2011
20 / 43
Funciones
Conversin de tipos o
str, unicode, int, long, NoneType se convierten automticamente a
El ejemplo con printf()
En otro caso, especicar la signatura de la funcin o func.argtypes = sequencia-de-ctypes... func.restype = ctype..
Tipo Python ctype tipo C

Funciones
Ejemplo ...
from ctypes import * from ctyes . util import *
_cmath = cdll [ find_library ( m )] _fabs = _cmath . fabs print _fabs ( c_double (5.5)) _fabs . argtypes = ( c_double ,) _fabs . restype = c_double print _fabs (5.5)
Funciones
Comprobando errores En errcheck podemos instalar un comprobador de errores

Puede servir para convertir errores en excepciones
def io_errcheck ( res , func , args ): if not res : raise IOError , Error opening file return res
_cstd . fopen . errcheck = io_errcheck _cstd . fopen ( notexist , r )
Tipos
Indice
1 2 3 4 5 6
Mayo de 2011
24 / 43
Tipos
Tipos bsicos en ctypes a Mutable

c c c c char, c wchar, c byte, c ubyte short, c ushort int, c uint, c long, c ulong float, c double
Inmutable
c char p, c wchar p, c void p create string buffer para la mutabilidad Al valor de una instancia se accede mediante value
Tipos
Ejemplo ...
from ctypes import * from ctypes import util
_cstd = cdll [ find_library ( c )] s = Hola mundo ! _cstr . printf ( " %s \ n " , c_char_p ( s )) # Ok _cstd . scanf ( " %s " , c_char_p ( s )) # Mal !! print s == Hola mundo ! # OMG ! s = create_string_buffer (128) _cstd . scanf ( " %s " , s ) # Mejor print s . value
Tipos
Punteros...
Construimos un tipo puntero con POINTER Construimos un puntero con pointer
dereferenciamos con contents y operator[]
i = c_int (5) pi = pointer ( i ) i . contents = 10 print i assert type ( pi ) == POINTER ( c_int )
Mayo de 2011
27 / 43
Tipos
Punteros... Si no necesitamos el puntero en Python, byref es ms eciente que pointer a

Suele usarse para el paso por referencia
i = c_int () _cstd . scanf ( " %i " , byref ( i ))
Mayo de 2011
28 / 43
Tipos
Arreglos ... tipo * N da un tipo arreglo sobre elementos de tipo

int3 = c_int * 3 a3 = int3 () print list ( a3 ) a3 = int3 (* range (3)) print list ( a3 )
Tipos
struct y union Se denen heredando de Structure o de Union

fields contiene una lista de (nombre, tipo [, bitfield]) con los campos fields puede denirse tras la clase para las estructuras recursivas
Mayo de 2011
30 / 43
Tipos
Ejemplo ...
class c_tm ( Structure ):
_fields_ = ( ( tm_sec , ( tm_min , ( tm_hour , ( tm_day , ( tm_mon , ( tm_year , ( tm_wday , ( tm_yday , ( tm_isdst , c_int ) , c_int ) , c_int ) , c_int ) , c_int ) , c_int ) , c_int ) , c_int ) , c_int ))
Mayo de 2011 31 / 43
Tipos
Ejemplo ...
_cstd . localtime . restype = \ POINTER ( c_tm ) t = c_int ( _cstd . time (0)) lt = _cstd . localtime ( byref ( t )) lt = lt . contents
print " %d / %02 d / %02 d " % (

lt . tm_year + 1900 , lt . tm_mon , lt . tm_day )
Tipos
Punteros a funciones ...

Denimos un tipo a puntero a funcin con: o
CFUNCTYPE (rettype [, argtypes ...])

cmpfunc = CFUNCTYPE ( c_int , POINTER ( c_int ) , POINTER ( c_int )) @cmpfunc def mycmp (a , b ): return cmp ( a [0] , b [0]) arr = ( c_int * 10) (* reversed ( xrange (10))) _cstd . qsort ( arr , 10 , sizeof ( c_int ) , mycmp ) print list ( arr )
Compatibilidad con Numpy
Indice
1 2 3 4 5 6
Mayo de 2011
34 / 43
Compatibilidad con Numpy Los arreglos de Numpy exponen sus entraas en el atributo ctypes n
Esto a su vez contiene... data, contenido como c void p data as (ptrtype), contenido como ptrtype shape, el tamao como c long * ndim n stride, el stride como c long * ndim
Mayo de 2011
35 / 43
Aadir dibujito! n
Mayo de 2011
36 / 43
Comprobando tipos
Podemos imponer restricciones sobre los punteros con
numpy.ctypeslib.ndpointer ( [ dtype, ndim, shape, flags ])

Adems, se encarga de realizar la conversin a o ags es una cadena o lista de cadenas:
C CONTIGUOUS / C / CONTIGUOUS F CONTIGUOUS / F / FORTRAN OWNDATA / O WRITEABLE / W ALIGNED / A UPDATEIFCOPY / U
Mayo de 2011 37 / 43
Ejemplo ...
Biblioteca en C
float dotprod3 ( float * a , float * b )

{
return a [0] * b [0] +

a [1] * b [1] + a [2] * b [2];
Mayo de 2011
38 / 43
from numpy . ctypeslib import ndpointer from numpy import array

_funcs = CDLL ( ./ funcs . so ) vec3 = ndpointer ( dtype = float32 , ndim = 1 , shape = (3 ,) , flags = C_CONTIGUOUS ) _funcs . dotprod3 . argtypes = vec3 , vec3 _funcs . dotprod3 . restype = c_float
print _funcs . dotprod3 (

array ([1. , 1. , 1.] , dtype = float32 ) , array ([0. , 0. , 3.] , dtype = float32 ))
Mayo de 2011
39 / 43
Metodolog a
Indice
1 2 3 4 5 6
Mayo de 2011
40 / 43
Metodolog a
Metodolog a
Haced envoltorios pitnicos! o

Por cada biblioteca en C, escribir un mdulo en Python o El objeto biblioteca es una variable privada global Envolver tipos complejos de C en clases de Python Simplicar la interfaz con mtodos y funciones e
Mayo de 2011
41 / 43
Metodolog a
Recursos adicionales
Mayo de 2011
42 / 43
Metodolog a
Preguntas? Muchas gracias por su atencin. o
Mayo de 2011
43 / 43

Tema 07

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Tema 07

Diunggah oleh

Hak Cipta:

Format Tersedia

Tema 7 Bibliotecas externas

Curso de Python Avanzado Juan Pedro Bol Puente var

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Introduccin o Python no es siempre suciente!

Extensiones de Python Una extensin es un mdulo escrito en C o o

Ejemplo de extensin en Python o

static PyMethodDef mymod_methods [] = {

Ejemplo de extensin en Python o

Aade pasos y dependencias n

Ejemplo de mdulo en SWIG o

Ejemplo de mdulo en SWIG o

... bienvenido a ctypes Hacemos la interfaz desde Python!

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Librerias en ctypes Una librer es un objeto Python as

ctypes.PyDLL (name, mode, handle) Librer con extensiones de Python as

Otros... En Windows... WINDLL, OLEDLL

El cargador de bibliotecas Mejor usar ctypes.LibraryLoader

Las funciones son atributos del objeto biblioteca

Buscando bibliotecas ctypes.util.find library busca una biblioteca

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Funciones ... Las funciones son atributos del objeto CDLL/PyDLL

En otro caso, especicar la signatura de la funcin o func.argtypes = sequencia-de-ctypes... func.restype = ctype..

Tipo Python ctype tipo C

Comprobando errores En errcheck podemos instalar un comprobador de errores

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Tipos bsicos en ctypes a Mutable

i = c_int (5) pi = pointer ( i ) i . contents = 10 print i assert type ( pi ) == POINTER ( c_int )

Punteros... Si no necesitamos el puntero en Python, byref es ms eciente que pointer a

i = c_int () _cstd . scanf ( " %i " , byref ( i ))

Arreglos ... tipo * N da un tipo arreglo sobre elementos de tipo

struct y union Se denen heredando de Structure o de Union

print " %d / %02 d / %02 d " % (

Punteros a funciones ...

CFUNCTYPE (rettype [, argtypes ...])

Compatibilidad con Numpy

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Compatibilidad con Numpy

Compatibilidad con Numpy

Compatibilidad con Numpy

numpy.ctypeslib.ndpointer ( [ dtype, ndim, shape, flags ])

Compatibilidad con Numpy

float dotprod3 ( float * a , float * b )

return a [0] * b [0] +

Compatibilidad con Numpy

from numpy . ctypeslib import ndpointer from numpy import array

print _funcs . dotprod3 (

Introduccin o Librerias Funciones Tipos Compatibilidad con Numpy Metodolog a

Haced envoltorios pitnicos! o

Preguntas? Muchas gracias por su atencin. o

Anda mungkin juga menyukai