pnavaro/big-data

Python tools for big data

Bonjour 👋

Pierre Navaro, scientific computing engineer

I work at IRMAR in Rennes, France.

Languages

Python courses

Projects

big-data's Issues

Problème Ouverture csv

Bonjour Mr Navarro,

Je rencontre des difficultés à ouvrir mon dossier csv.
En effet, j'ai bien réussi à installer Pyspark sur mon Pycharm

from pyspark.sql import SparkSession
spark = SparkSession
.builder
.appName('Convert CSV to parquet')
.master('local')
.config('spark.hadoop.parquet.enable.summary-metadata', 'true')
.getOrCreate()

spark.read.format('csv').options(header='true').load('data_small.csv')
df = spark.read.csv(u'D:\AILIS\bigdata\yellow_tripdata_2012_01.csv', header="true", inferSchema="true")

Je reçois le message d'erreur suivant : pyspark.sql.utils.AnalysisException: Path does not exist: file:/D:/AILIS/bigdata/yellow_tripdata_2012_01.csv (alors que la base s'y trouve bien !)

C'est apparement un problème d'Hadoop mais je ne comprends pas comment le résoudre malgré mes nombreuses recherches sur internet... peut-être est-ce au niveau du master ('local ') ? Vous indiquez également qu'il faut le convertir en parquet dans mon hdfs homedirectory, à quoi cela correspond ?

Puis-je ne télécharger que 2 mois, je n'ai malheureusement pas la place de télécharger les 12 mois sur mon ordinateur.

Merci d'avance

En vous souhaitant de belles fêtes

Cordialement

Aïlis THOMAS

Correction

Bonsoir,
Excusez-moi de vous déranger.
Est-ce possible de mettre les corrections sur Github ?

Cordialement

wrong use of pyarrow for import

In notebook 14-FileFormats, the code imports pyarrow as pa but uses it as pq.

import pyarrow as pa

pq.write_to_dataset(table, root_path="test", filesystem=hdfs)