Pandas (II)
Antes de nada, el contexto, para esta serie de entradas se va a usar lo siguiente:
Versión de Python: 3.3.1 (default, Apr 10 2013, 19:05:32)
[GCC 4.6.3]
Versión de Pandas: 0.13.1
Versión de Numpy: 1.8.1
Versión de Matplotlib: 1.3.1
Y sin más preámbulos seguimos con esta segunda parte de la serie.
Leyendo y escribiendo datos (IO)
Una de las cosas que más me gusta de Pandas es la potencia que aporta a lo hora de leer y/o escribir ficheros de datos. Pandas es capaz de leer datos de ficheros csv, excel, HDF5, sql, json, html,...
Si trabajáis con datos de terceros, que pueden provenir de muy diversas fuentes, una de las partes más tediosas del trabajo será tener los datos listos para empezar a trabajar. Limpiar huecos, poner fechas en formato usable, saltarse cabeceros,...
Sin duda, una de las
funciones que usaréis más
será read_csv() que permite una gran flexibilidad a la hora de leer
un fichero de texto plano.
Veamos la documentación:
Docstring:
Read CSV (comma-separated) file into DataFrame
Also supports optionally iterating or breaking of the file
into chunks.
Parameters
----------
filepath_or_buffer : string or file handle / StringIO. The string could be
a URL. Valid URL schemes include http, ftp, s3, and file. For file URLs, a
host is expected. For instance, a local file could be
file ://localhost/path/to/table.csv
sep : string, default ','
Delimiter to use. If sep is None, will try to automatically determine
this. Regular expressions are accepted.
lineterminator : string (length 1), default None
Character to break file into lines. Only valid with C parser
quotechar : string (length 1)
The character used to denote the start and end of a quoted item. Quoted
items can include the delimiter and it will be ignored.
quoting : int or csv.QUOTE_* instance, default None
Control field quoting behavior per ``csv.QUOTE_*`` constants. Use one of
QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3).
Default (None) results in QUOTE_MINIMAL behavior.
skipinitialspace : boolean, default False
Skip spaces after delimiter
escapechar : string
dtype : Type name or dict of column -> type
Data type for data or columns. E.g. {'a': np.float64, 'b': np.int32}
compression : {'gzip', 'bz2', None}, default None
For on-the-fly decompression of on-disk data
dialect : string or csv.Dialect instance, default None
If None defaults to Excel dialect. Ignored if sep longer than 1 char
See csv.Dialect documentation for more details
header : int row number(s) to use as the column names, and the start of the
data. Defaults to 0 if no ``names`` passed, otherwise ``None``. Explicitly
pass ``header=0`` to be able to replace existing names. The header can be
a list of integers that specify row locations for a multi-index on the
columns E.g. [0,1,3]. Intervening rows that are not specified will be
skipped. (E.g. 2 in this example are skipped)
skiprows : list-like or integer
Row numbers to skip (0-indexed) or number of rows to skip (int)
at the start of the file
index_col : int or sequence or False, default None
Column to use as the row labels of the DataFrame. If a sequence is given, a
MultiIndex is used. If you have a malformed file with delimiters at the end
of each line, you might consider index_col=False to force pandas to _not_
use the first column as the index (row names)
names : array-like
List of column names to use. If file contains no header row, then you
should explicitly pass header=None
prefix : string or None (default)
Prefix to add to column numbers when no header, e.g 'X' for X0, X1, ...
na_values : list-like or dict, default None
Additional strings to recognize as NA/NaN. If dict passed, specific
per-column NA values
true_values : list
Values to consider as True
false_values : list
Values to consider as False
keep_default_na : bool, default True
If na_values are specified and keep_default_na is False the default NaN
values are overridden, otherwise they're appended to
parse_dates : boolean, list of ints or names, list of lists, or dict
If True -> try parsing the index.
If [1, 2, 3] -> try parsing columns 1, 2, 3 each as a separate date column.
If [[1, 3]] -> combine columns 1 and 3 and parse as a single date column.
{'foo' : [1, 3]} -> parse columns 1, 3 as date and call result 'foo'
A fast-path exists for iso8601-formatted dates.
keep_date_col : boolean, default False
If True and parse_dates specifies combining multiple columns then
keep the original columns.
date_parser : function
Function to use for converting a sequence of string columns to an
array of datetime instances. The default uses dateutil.parser.parser
to do the conversion.
dayfirst : boolean, default False
DD/MM format dates, international and European format
thousands : str, default None
Thousands separator
comment : str, default None
Indicates remainder of line should not be parsed
Does not support line commenting (will return empty line)
decimal : str, default '.'
Character to recognize as decimal point. E.g. use ',' for European data
nrows : int, default None
Number of rows of file to read. Useful for reading pieces of large files
iterator : boolean, default False
Return TextFileReader object
chunksize : int, default None
Return TextFileReader object for iteration
skipfooter : int, default 0
Number of line at bottom of file to skip
converters : dict. optional
Dict of functions for converting values in certain columns. Keys can either
be integers or column labels
verbose : boolean, default False
Indicate number of NA values placed in non-numeric columns
delimiter : string, default None
Alternative argument name for sep. Regular expressions are accepted.
encoding : string, default None
Encoding to use for UTF when reading/writing (ex. 'utf-8')
squeeze : boolean, default False
If the parsed data only contains one column then return a Series
na_filter: boolean, default True
Detect missing value markers (empty strings and the value of na_values). In
data without any NAs, passing na_filter=False can improve the performance
of reading a large file
usecols : array-like
Return a subset of the columns.
Results in much faster parsing time and lower memory usage.
mangle_dupe_cols: boolean, default True
Duplicate columns will be specified as 'X.0'...'X.N', rather than 'X'...'X'
tupleize_cols: boolean, default False
Leave a list of tuples on columns as is (default is to convert to
a Multi Index on the columns)
error_bad_lines: boolean, default True
Lines with too many fields (e.g. a csv line with too many commas) will by
default cause an exception to be raised, and no DataFrame will be returned.
If False, then these "bad lines" will dropped from the DataFrame that is
returned. (Only valid with C parser).
warn_bad_lines: boolean, default True
If error_bad_lines is False, and warn_bad_lines is True, a warning for each
"bad line" will be output. (Only valid with C parser).
infer_datetime_format : boolean, default False
If True and parse_dates is enabled for a column, attempt to infer
the datetime format to speed up the processing
Returns
-------
result : DataFrame or TextParser
Vamos a inventarnos un fichero de datos... (la siguiente pieza de código es específica de IPython y, por tanto, funciona solo en IPython)
%%writefile dummy.data
cabecero estúpido
901001 0000 7.54 -11.67 1.07 4.27
901001 0600 19.61 -2.74 27.87 -8.96
901001 1200 -4.34 0.73 -6.58 0.17
901001 1800 -4.99 3.24 10.62 -6.13
901002 0000 -3.54 10.39 -12.05 -13.35
901002 0600 12.55 3.80 4.92 -8.18
901002 1200 1.06 23.75 -8.03 -8.67
901002 1800 -1.12 1.82 7.09 -6.06
901003 0600 -5.90 2.38 19.33 6.84
901003 1200 -9.51 -2.72 -7.13 -0.35
901003 1800 6.49 -12.01 -13.62 -0.93
Vamos a leer con Pandas el fichero que acabamos de crear:
data = pd.read_csv('dummy.data', sep = 's*',
names = ['fecha', 'hora', 'rec1', 'rec2', 'rec3', 'rec4'],
skiprows = 1, parse_dates = [[0, 1]], index_col = 0)
Veamos lo que acabamos de leer:
print(data)
Y lo que nos mostrará será:
rec1 rec2 rec3 rec4
fecha_hora
1990-10-01 00:00:00 7.54 -11.67 1.07 4.27
1990-10-01 06:00:00 19.61 -2.74 27.87 -8.96
1990-10-01 12:00:00 -4.34 0.73 -6.58 0.17
1990-10-01 18:00:00 -4.99 3.24 10.62 -6.13
1990-10-02 00:00:00 -3.54 10.39 -12.05 -13.35
1990-10-02 06:00:00 12.55 3.80 4.92 -8.18
1990-10-02 12:00:00 1.06 23.75 -8.03 -8.67
1990-10-02 18:00:00 -1.12 1.82 7.09 -6.06
1990-10-03 06:00:00 -5.90 2.38 19.33 6.84
1990-10-03 12:00:00 -9.51 -2.72 -7.13 -0.35
1990-10-03 18:00:00 6.49 -12.01 -13.62 -0.93
[11 rows x 4 columns]
Como veis, hemos usado:
- una expresión regular en
seppermitiéndonos mucha libertad a la hora de definir como están separados los datos. Si los delimitadores de los datos en cada fila son espacios o tabulaciones podríamos usar delim_whitespace, que es muchísimo más eficiente que usar expresiones regulares (AVISO: esto no aparece en la ayuda de la funciónread_csv). namessirve para indicar qué nombres hay que poner a cada una de las columnas. Si no ponemos ningún nombre las nombrará con números empezando con el0.parse_dateses otra de las cosas realmente útiles cuando trabajamos con registros temporales. Ahí le indicamos qué columnas tiene que considerar como fechas y las 'parsea' para convertirlo en un tipo interno de fechas. Si os fijáis, he puesto las columnas0y1dentro de una lista, de esa forma las unirá en una sola columna de fechas con la que será más cómodo trabajar. Si automágicamente no es capaz de leer los formatos de las fechas le podemos indicar como las debe parsear (verdate_parser).- El último parámetro que le hemos pasado es
index_col, le indicamos que la columna de índices será la0, que será la unión de las columnas0y1de fechas.
Muy poderoso, ¿eh?
Escribir el resultado final en un fichero csv, por ejemplo, es algo tan sencillo como:
data.to_csv('dummy.csv')
Si queréis ver el resultado del fichero final creado y estáis en IPython podéis escribir lo siguiente:
%load dummy.csv
Y en pantalla veréis el siguiente texto:
fecha_hora,rec1,rec2,rec3,rec4
1990-10-01 00:00:00,7.54,-11.67,1.07,4.27
1990-10-01 06:00:00,19.61,-2.74,27.87,-8.96
1990-10-01 12:00:00,-4.34,0.73,-6.58,0.17
1990-10-01 18:00:00,-4.99,3.24,10.62,-6.13
1990-10-02 00:00:00,-3.54,10.39,-12.05,-13.35
1990-10-02 06:00:00,12.55,3.8,4.92,-8.18
1990-10-02 12:00:00,1.06,23.75,-8.03,-8.67
1990-10-02 18:00:00,-1.12,1.82,7.09,-6.06
1990-10-03 06:00:00,-5.9,2.38,19.33,6.84
1990-10-03 12:00:00,-9.51,-2.72,-7.13,-0.35
1990-10-03 18:00:00,6.49,-12.01,-13.62,-0.93
Otra tarea que se realiza habitualmente sería la de trabajar con información de una base de datos SQL. No lo vamos a ver aquí pero podéis ver este notebook donde se explica como leer y/o escribir datos de una BBDD SQL (SQLite, PostgreSQL o MySQL). Una vez que se han leído, el tratamiento es el mismo que si los hubiésemos leído de otro origen.
Es suficiente por hoy. Esta entrada ha sido cortita pero en breve dejaremos una tercera parte con más enjundia... ¡¡Estad atentos!!
