Los gehts: Sehr schnell nach der Veröffentlichen des ersten Tutorials zum Lesen von csv-Daten mit Python, kamen von zwei Identi.ca-Teilnehmern der Hinweis auf das Python csv-Modul. Darauf möchte ich nun eingehen.

Reaktionen auf das erste Tutorial

Erstaunlicherweise kamen buchstäblich Sekunden nach der Veröffentlichung des ersten Tutorials von lutzgh und evgeni über identi.ca zwei Reaktionen in gleiche Richtung. Beide wiesen mich auf das csv-Modul hin, welches genutzt werden kann, um diverse Daten zu importieren.

Natürlich kam mir sofort der Gedanke, warum ich das Modul nicht selber entdeckt habe. Ich muss zugeben, dass ich gar nicht gesucht habe. Mir ist auf Anhieb die Lösung mit den regulären Ausdrücken eingefallen. Doch, aus zwei Gründen bin ich glücklich, dass es nun so gekommen ist:

1. Auf dieser Grundlage lässt sich ein weiterer netter Blog-Artikel schreiben .
2. Aus eins mach zwei: Ursprünglich als alleinstehendes Thema geplant, ist es nun in zunächst zwei verschiedenen Ausführungen vorhanden, die sich prächtig ergänzen. Dadurch ergibt sich eine breitere Grundlage und noch mehr Wissen für meine Leser.

Also nur Vorteile für alle im Thema interessierten.

Das csv-Modul

Das csv-Modul, welches es laut der Python-Dokumentationseite, seit der Version 2.3 gibt, unterstützt den Programmierer in seiner Arbeit beim Import und Export von Daten, welche tabellarisch im csv-Format gespeichert sind oder werden sollen. Dafür stellt es diverse Funktionen zur Verfügung, von denen ich die reader() und writer()-Funktionen als die für mich wichtigsten einstufe.

Sehr interessant ist die Möglichkeit mit Hilfe des csv-Moduls, Excel-Daten zu importieren und in Excel-Stil zu exportieren. Dazu muss lediglich ein bestimmter Parameter übergeben werden, der das Format definiert. Das scheint mir einer der größten Vorteile dieses Moduls zu sein.

Datensatz und Import der Daten mit dem csv-Modul

Wie bereits im ersten Tutorial wird auch hier der kleine Beispiel-Datensatz von walkingrandomly.org übernommen:
header 1;
header 2;
1031,-948,-76, ,"12"
507,635,-1148, ,"34"
-1031,948,750, ,"45"
-507,-635,114, ,"67"

Diese Zeilen sollen nun mit dem csv-Modul in das Programm importiert werden und in drei verschiedenen Listen gespeichert werden. Dabei interessieren uns lediglich die Daten, die nicht Kopfdaten sind oder in Anführungszeichen stehen. Dazu habe ich folgendes Python-Skript geschrieben:

import csv
fileO = open('walking_example.dat','r')
csvreader=csv.reader(fileO, delimiter=',')
k= []; l = []; m = [];

for row in csvreader:
    if len(row) > 1:
        k.append(float(row[0]))
        l.append(float(row[1]))
        m.append(float(row[2]))

print(k,l,m)

fileO.close()

Schrittweise erklärt

1.Zeile: Import des csv-Moduls

2.Zeile: Erstellen eines file-Objekts, welcher die Datei mit dem gezeigten Datensatz enthält.

3.Zeile: Einlesen der Daten von fileO mit der reader()-Funktion des csv-Moduls. Die Funktion erwartet mindestens einen Übergabeparameter und zwar das file-Objekt. Des Weiteren kann ein sogenannter Dialekt vorgegeben werden, welcher für sich die Struktur der csv-Daten definiert. Ein Dialekt könnte zum Beispiel Excel sein (dialect=’excel’). Weitere optionale Argumente wie das Trennungszeichen (delimiter=’,’) können hinzugefügt werden.

4.Zeile: Initialisieren der Listen, mit welchen weiter gerechnet werden soll.

7-10.Zeile: Das Auslesen der importierten Daten erfolgt an dieser Stelle. Die reader()-Funktion liest die Daten zeilenweise ein, dabei spielt es zunächst keine Rolle, ob es Kopfdaten sind oder nicht. Dieses Vorwissen muss bei der vorgestellten Methode vorhanden sein. Im Beispiel haben wir zwei Zeilen mit Kopfdaten, welche ignoriert werden sollen. Dies geschieht über die Abfrage der Länge der Liste row. Zuletzt werden in den Zeilen noch die Listen k,l,m um die ersten drei Spalten erweitert.

11-12.Zeile: Ausgabe der Listen und schließen des file-Objekts.

Schlusswort

Die Vorteile des csv-Moduls im Vergleich zu der Lösung mit regulären Ausdrücken liegen auf der Hand. Zum einen ist der Import effizienter und einfacher zu schreiben und zum anderen ist die Fehleranfälligkeit nicht so hoch.

Auf der anderen Seite stellen die regulären Ausdrücke eine viel allgemeinere Methode dar, Daten zu importieren. Hierbei muss lediglich die Struktur der Daten bekannt sein, Kopfzeilen werden automatisch ignoriert. Des Weiteren stellen zusätzliche Störungen in den Daten für reguläre Ausdrücke kein Problem dar.

Sollte ich jemals in die Verlegenheit kommen, mich zwischen den zwei Lösungen entscheiden zu müssen, so werde ich natürlich das dem Problem am besten angepasste nutzen. Das heißt: bei relativ sauberen Daten das csv-Modul und bei stark ungeordneten Daten die regulären Ausdrücke.

Nun hoffe ich auf konstruktive Kritik!

Deine Stadt - Dein Preis
Mit CityDeal und vielen Anderen den Preis drücken!

© Muvik for muvik-multigrid, 2010. | Permalink | keine Kommentare | Teile es mit deinen Freunden: del.icio.us MisterWong Twitter
Tags: InputOutput, Python, Tutorial

Los gehts: Tutorials, die nicht in die Kurztipp-Serie passen, weil sie zu groß, zu lang, zu wichtig sind oder ein besonderes Feature enthalten haben nun ebenfalls eine eigene Kategorie-Grafik. Diesmal geht es um das Einlesen beliebiger, durch ein Komma getrennter Daten aus sogenannten csv-Dateien (comma-seperated-values) in Python mit Hilfe der regulären Ausdrücke (regular expressions).

Idee und Intention

Wie aus der Seitenleiste des Blogs entnommen werden kann, lese ich regelmäßig die Artikel des walkingrandomly.com Blogs von Mike Croucher. Am 21. Mai 2010 schrieb Mike ein Matlab Tutorial, dessen Inhalt es war, wie csv-Dateien in Matlab eingelesen werden können. Im Rahmen dieses Artikels ging er auf verschiedene Möglichkeiten ein, eine csv-Datei zu importieren.

Begonnen hat er mit einer einfachen zu importierenden Datei, worin die Daten ohne Ausnahmen durch eine Komma getrennt waren. Richtig interessant wurde es beim Import von Daten aus einer unordentlich definierten csv-Datei. Das Beispiel stammte von einem Leser seines Blogs und soll hier ebenfalls verwendet werden.

Der Datensatz

Es lässt sich unendlich lange darüber unterhalten, wie sinnvoll oder sinnlos es ist, innerhalb einer Datei mit csv-Daten weitere Daten zu integrieren, welche nicht durch Kommas getrennt werden und eventuell andere Datentypen sind. Abgesehen davon ist das Beispiel, welches auch Mike verwendet folgendes:

header 1;
header 2;
1031,-948,-76, ,"12"
507,635,-1148, ,"34"
-1031,948,750, ,"45"
-507,-635,114, ,"67"

Da das Ziel beim Import der Daten ist, mit ihnen weiter zu rechnen oder zu plotten, ergeben sich für mich zwei Herausforderungen, bei dem gegebenen Datensatz:

1. Eine straight-forward Lösung bricht sich bereits an der ersten Zeile das Bein, an der ersten Kopfzeile. Also müssen eine vorgegebene Anzahl an Zeilen beim Importieren ignoriert werden können.
2. Da die letzte Spalte nicht nur durch ein Komma getrennt ist, sondern in Anführungszeichen steht, soll angenommen werden, dass es reiner Text ist und soll beim Import ignoriert werden.

Damit wären die Stolpersteine lokalisiert und können aus dem Weg geräumt werden.

Reguläre Ausdrücke (regular expressions, kurz: regex)

Es gibt mehrere Möglichkeiten das beschriebene Problem anzugehen und die regulären Ausdrücke stellen in meinen Augen nicht die schlechteste dar. Zum einen wird aus den zwei Herausforderungen nur noch eine und zum anderen ist die Lösung sehr schnell auf dem Tisch und sieht elegant aus. Sollte sich die Struktur der csv-Daten noch ändern, stellt es für die Lösung mit regulären Ausdrücken kein großes Problem dar. Es muss lediglich eine Zeile angepasst werden.

Reguläre Ausrücke habe ich persönlich bisher sehr sporadisch gebraucht, würde aber dennoch folgendes Vorgehen vorschlagen:

1. Klären der Struktur der Daten
2. Erkennen eines Musters
3. Definition des Musters in regulären Ausdrücken
4. Implementierung des Rahmenprogramms: öffnen einer Datei, ausgeben der Ergebnisse …

Die Struktur des Datensatzes haben wir schon geklärt: es ist ein Datensatz, dessen Elemente durch Kommata getrennt sind. Die zwei Kopfdateien interessieren uns hierbei nicht, die sollen nicht importiert werden.

Das Muster ergibt sich, indem logische Bereiche von einer Zeile betrachtet werden:
-1031,948,750, ,"45"
Zum Einen ist zu bemerken, dass alle Zahlen ganze Zahlen sind. Zudem ist ein Minus auch erlaubt. Also ergibt sich aus der Überlegung folgendes Muster: drei aufeinander folgenden Integer-Zahlen, die durch jeweils ein Komma getrennt sind und evt. ein Minus vor der Integer-Zahl.

Daraus lässt sich nun der folgende einfache reguläre Ausdruck ableiten:
(-?[0-9]*),(-?[0-9]*),(-?[0-9]*),.*
Es sei angemerkt, dass auch an dieser Stelle viele Wege nach Rom führen. Drei Programmierern fallen bestimmt spontan neun verschiedene reguläre Ausdrücke ein, die alle die korrekte Lösung liefern.

Reguläre Ausdrücke in Python

Der glückliche und aktive Linux Benutzer kann reguläre Ausdrücke in sehr vielen Programmen und Tools anwenden. Als Beispiele seien nur die Tools grep und awk genannt.

Ich möchte nicht behaupten, dass die meisten Bücher, jedoch sehr viele erklären reguläre Ausdrücke in Kombination mit der Skriptsprache Perl. In Python lassen sich die regulären Ausdrücke doch ebenso leicht verwenden. Dazu muss lediglich das Modul re importiert werden:
import re Damit sind wir mit einer mächtigen Waffe ausgestattet.

Import der csv-Daten und Ausgabe der Listen (Arrays)

Gehen wir es an und importieren den Datensatz mit den unordentlich formatierten Daten. Dazu schlage ich folgendes kleines Python-Skript vor:

import re

# define a pattern for matching the needed data

fileO = open('walking_example.dat','r')
search_data = fileO.readlines()

fileO.seek(0,0)

print("Following data will be parsed:\n")
print(fileO.read())

fileO.close()

pattern = '(-?[0-9]*),(-?[0-9]*),(-?[0-9]*),.*'
r = []; s = []; t = [];

for line in search_data:
    found = re.search(pattern, line)
    if found:
        r.append(float(found.group(1)))
        s.append(float(found.group(2)))
        t.append(float(found.group(3)))

print("\nThe parsed lists:\n")
print(r,s,t)

Schrittweise erklärt:

1.Zeile: Zu Beginn wird das Modul zur Verwendung regulärer Ausdrücke importiert.

5.Zeile: Es wird ein file-Objekt angelegt, welches die Datei mit dem Datensatz enthält. Die Funktion open erhält im ersten Übergabeparameter die Datei inklusive dem Pfad und im zweiten die Option ‘r’, was bedeutet, dass nur gelesen werden soll. Da in meinem Fall die csv-Datei sich im selben Ordner befindet, wie das Python-Skript, muss lediglich der Dateiname angegeben werden.

6.Zeile: Um die Daten aus dem file-Objekt zu verwenden, werden sie zeilenweise eingelesen und in der Variablen search_data gespeichert.

7-11.Zeile: Dieser Abschnitt ist optional. Zunächst wird die Position im file-Objekt wieder auf den Ausgangszustand zurückgesetzt, damit der Datensatz erneut mittels read() gelesen und dadurch einfach mit print() ausgegeben werden kann. Dies alles dient nur der leichten Kontrolle des regulären Ausdrucks.

13.Zeile: Das file-Objekt wird geschlossen.

15.Zeile: Der bereits vorgestellte reguläre Ausdruck wird in der Variable pattern gespeichert.

16.Zeile: Initialisierung leerer Listen für die drei Spalten aus den Datensatz.

19.Zeile: Anwendung des regulären Ausdrucks für jede Zeile aus search_data, was mit Hilfe der for-Schleife aus Zeile 18 bewerkstelligt wird. Hierzu wird die Funktion search aus dem re-Modul verwendet. search erhält als erstes Argument das Muster und als zweites die zu untersuchende Zeile des Datensatzes.

21-23.Zeile: Wenn re.search etwas gefunden hat, dann werden die Teile, welche im regulären Ausdruck in runden Klammern stehen in die drei Listen r,s,t geschrieben. Vor dem eigentlichen Anhängen an die Liste mittels append wird der Inhalt in float-Zahlen umgewandelt.

26.Zeile: Zu guter Letzt werden die Listen zur Kontrolle ausgegeben.

Ergebnis und Kontrolle

Die Arbeit ist getan, jetzt gilt es nur noch die Lorbeeren zu pflücken.

Dazu schauen wir uns an, was das Skript in der Shell ausgibt:
Following data will be parsed:
header 1;
header 2;
1031,-948,-76, ,"12"
507,635,-1148, ,"34"
-1031,948,750, ,"45"
-507,-635,114, ,"67"
The parsed lists:
([1031.0, 507.0, -1031.0, -507.0], [-948.0, 635.0, 948.0, -635.0], [-76.0, -1148.0, 750.0, 114.0])
Es ist ganz leicht zu erkennen, dass das kleine Programm für diesen Fall richtig funktioniert hat.

Schlusswort

Reguläre Ausdrücke sind ein mächtiges Instrument, welches jedoch aufgrund der etwas undurchsichtigen Syntax oft als zu umständlich abgelehnt werden. Aus meiner Sicht lohnt sich eine kurze Einarbeitung in die Syntax, wenn öfter mal bestimmte Bereiche eines Datensatzes extrahiert werden müssen, was bei mir der Fall ist.

An dieser Stelle ein Dankeschön an Mike vom walkingrandomly.com-Blog für die Steilvorlage.

Weiterhin würde mich interessieren, wie meine Leser an die Sache herangegangen wären und welche Erfahrungen sie gemacht haben in Bezug auf reguläre Ausdrücke.

Deine Stadt - Dein Preis
Mit CityDeal und vielen Anderen den Preis drücken!

© Muvik for muvik-multigrid, 2010. | Permalink | ein Kommentar | Teile es mit deinen Freunden: del.icio.us MisterWong Twitter
Tags: InputOutput, Python, Tutorial