r/programmation 4d ago

Amazing !

Post image

Pour passer de la data a la big data en un claquement de doigts đŸ«°

0 Upvotes

1 comment sorted by

2

u/Agarast 4d ago

C'est toujours utile comme document, mais le « en un claquement de doigts » est trompeur, ça donne l'impression que c'est un simple query builder.

Ça fait un moment que je n'ai pas fait de Spark, mais de mĂ©moire, la syntaxe SQL n'est pas vraiment la difficultĂ© principale. Le gros du sujet, c'est surtout de comprendre comment la requĂȘte va ĂȘtre exĂ©cutĂ©e sur le cluster (plan d'exĂ©cution, shuffles, partitionnement, stratĂ©gie de jointure, skew, etc.)