parquetDatastore
Creer un datastore pour un ou plusieurs fichiers Parquet.
📝Syntaxe
pds = parquetDatastore(location)
pds = parquetDatastore(location, Name, Value)
📥Arguments d'entrée
Paramètre Description
location un nom de fichier, un dossier, un motif avec jokers, un tableau de chaines ou une cellule de vecteurs de caracteres.
Name, Value arguments optionnels specifies sous forme de paires nom-valeur.
📤Arguments de sortie
Paramètre Description
pds un objet nelson.io.datastore.ParquetDatastore.
📄Description

pds = parquetDatastore(location) cree un datastore qui lit les fichiers Parquet locaux de l'emplacement indique.

Lorsque location est un dossier, les fichiers qui se terminent par .parquet dans ce dossier sont selectionnes. Les motifs avec jokers peuvent selectionner plusieurs fichiers.

Les paires nom-valeur prises en charge sont ReadSize, SelectedVariableNames, OutputType, RowTimes, RowFilter et VariableNamingRule.

Le datastore lit un fichier a la fois. Utilisez hasdata, read, readall, preview et reset pour parcourir les donnees.

💡Exemples
folder = tempdir();
file1 = [folder, 'doc_parquet_ds_1.parquet'];
file2 = [folder, 'doc_parquet_ds_2.parquet'];
parquetwrite(file1, table([1; 2], [10; 20], 'VariableNames', {'Id', 'Value'}));
parquetwrite(file2, table([3; 4], [30; 40], 'VariableNames', {'Id', 'Value'}));
pds = parquetDatastore([folder, 'doc_parquet_ds_*.parquet']);
pds.VariableNames
T = readall(pds)
folder = tempdir();
file1 = [folder, 'doc_parquet_ds_filter_1.parquet'];
file2 = [folder, 'doc_parquet_ds_filter_2.parquet'];
parquetwrite(file1, table([1; 2], [10; 20], 'VariableNames', {'Id', 'Value'}));
parquetwrite(file2, table([3; 4], [30; 40], 'VariableNames', {'Id', 'Value'}));
rf = rowfilter({'Id', 'Value'});
pds = parquetDatastore([folder, 'doc_parquet_ds_filter_*.parquet'], ...
  'SelectedVariableNames', {'Id', 'Value'}, 'RowFilter', rf.Value > 15);
T = readall(pds)
🔗Voir aussi
nelson.io.datastore.ParquetDatastoreparquetreadrowfilter
🕔Historique des versions
Version Description
2.0.0 version initiale
Modifier cette page sur GitHub