Pàgina d'inici » Posts tagged 'Programació'

Tag Archives: Programació

Eines ETL: Talend Open Studio

USA Flag Spain Flag German Flag
Talend

Com instal·lar Talend Open Studio a Windows.

Talend Open Studio es una de les eines més conegudes per a fer ETL, ja que és gratuïta i s’ha publicat com a Open Source i disposa d’una gran quantitat de connectors (els pots consultar aquí).

Com s’ha de instal·lar?

Pas Exemple
Descarrega la eina (ve en un .zip) des de aquí. Son uns 2,2 Gb.
Conté totes les versions per a instal·lar-ho.Extreu el contingut a una carpeta. (Uns 3 Gb)

zip amb instal·ladors

A Windows requereix tenir instal·lat el JDK.

El pots obtenir aquí.

Configura el JAVA_HOME a la carpeta JDK\bin

 

Java Home configuration

Configuració Java Home

Copia / mou la carpeta a la ubicació final desitjada.

Executa l’instal·lador

Al finalitzar et demanarà si vols afegir paquets necessaris, però que per temes de llicències no es poden incloure com a part del instal·lador inicial.

Accepta.

En el cas que no aparegui de manera automàtica ho pots tornar a cridar des de:
Help > Install Additional Packages

La instal·lació et port portar > 1h i pots consultar en qualsevol moment:
Window > Show View... > Talend > Modules

Pots veure més detalls aquí

Talend – paquets addicionals

 Comença per llegir les guies  Talend Help Center – Guies

 

Enllaços relacionats:

 

Altres temes dels que parlo:


DevOps o com recuperar la visió global de IS

GAMP, 21CFR part11 … i altres històries de validació

Mites sobre Big Data



 

BigData amb Apache Spark

USA Flag German Flag Spain Flag
Apache Spark
spark.apache.org

Big Data amb Apache Spark

Això del BigData esta molt de moda, i no paren de sorgir noves eines i millores. Una de les que he provat es Apache Spark, programant amb Python, així que aquí faig un recull de eines i enllaços de la documentació oficial, que he anat consultant:

Eines Links

Expressions regulars

Eines on provar de manera interactiva una expressió regular i les dades que li arriben.
Et mostren com es fa el parser i el resultat final d’aplicar la expressió a les dades.

Google Developers: Python Regular expressions
pythex.orgwww.pythonregex.com

Expressions Lambda

Les expressions lambda permeten utilitzar funcions sense haver-les de declarar prèviament, ( en temps d’execució o runtime) cosa que va molt bé quan treballes amb streams de dades continues, i son de ús habitual al món del BigData per a tractar / modificar / filtrar dades.

Lambda examples with Python
Lambda Python tutorial
Lambda usages

 

Enllaços relacionats:

 

%d bloggers like this: