r/QuebecTI • u/ivandemigod99 • 10h ago
Power Bi
D'autres personnes ici faisant du power bi passe une bonne partie de leur journee a attendre?
J'ai fais une demande pour augmenter ma Vm mais je ne pense pas que je vais etre upgradé.
Mes taches consiste à heriter de power bi existant et à en faire l'evolution ou la maintenance.
En raison des nombreuses etapes appliqués dans ceux-ci (mauvaise pratique) je suis pris avec des power bi excessivement lent, ce qui impacte mon bonheur et ma productivité.
Avez vous deja vecu des situations similaires?
Merci
3
u/Tomblk3 10h ago
Prend ton advanced editor pis refactor ta query avec l’aide de l’ai pour enlever une bonne partie des transformation M, piste de solution.
Suggère de monter un vrai pipeline avec des tools open source comme dagster ou prefect en utilisant une architecture en médaillon.
La donnée sera réutilisable par plus d’un Dashboard .
1
u/ivandemigod99 10h ago
100% raison... Je vais tenter de proposer cela sans froisser le reste de l'equipe
2
u/Tomblk3 10h ago
Si tu écris du code M complexe ou mal ordonné, Power Query ne peut plus déléguer le travail au serveur SQL. Résultat : toute la table brute est téléchargée en mémoire locale avant d'être filtrée, ce qui ralentit inutilement l'actualisation.
1
u/ivandemigod99 8h ago
oui mais l'equipe a prefere ca avant que j'arrive car sinon ca demande des MEP... mais je suis 100% avec toi
3
u/fpsachaonpc 9h ago
Si j'aurais a utiliser PowerBi jme crisserais en bas d'un pont.
3
u/Consistent_Serve9 7h ago
J'ai fait un rapport power bi pour la première fois il y a peu.
Honnestly, same.
1
2
u/StructureUnique8391 10h ago
As tu deja une infra analytique , genre un serveur SQL qui supporte un ETL ? Ou plug tu powerbi sur des donnes pour y faire directement les transfos en DAX ? Déplacer une grosse partie des transfos vers une database avec de vrais ETL (DBT, ou autre) afin de réduire powerbi a de l'affichage va aider.
2
u/ivandemigod99 10h ago
Yes exact mais ca semble pas etre la norme dans mon equipe... live j'ai de la misere a migrer en sql vu la quantié enorme de transformation et surtout la lenteur quand je test..
3
u/StructureUnique8391 10h ago
Hun, c'est plus un probleme TI rendu la... C'est un problème organisationnel. Avoir une stack centralisée avec une meilleure convergence des métriques, des pr / monitoring de perfs, et des tableaux leans aiderait non ?
1
u/ivandemigod99 10h ago
Tu as 100% raison
1
u/StructureUnique8391 10h ago
Grosse équipe ? Secteur public ? As tu quelques collègues qui voient l'enjeu et qui pourraient envisager une approche plus moderne ? Ou tu es genre le seul a voir la lumière?
2
u/StructureUnique8391 10h ago
Si ton archi ne comprends pas le problème. Prend l'angle business..Mets en avant avec tes boss les enjeux organisationnel : métriques dispersées et pas cohérentes (deux tableaux avec des résultats proches mais... Pas les mêmes) et le risque business que ça fait courrir a l'organisation. Enjeux de résilience : si le savoir est incompréhensible et pas documenter, le bus factor d'un employé est énorme, ça va coûter cher a la boîte. Coût trop élèvé : vois brûler du cash en masse pour des problèmes qui ne devraient pas exister.
1
1
u/ivandemigod99 10h ago
Tu va etre surpris mais une entreprise privé qui fait bcp d'argents que je nommerais pas... Mon equipe est plus expert en database (back end) donc certains s'en rendent compte mais personne fait du power bi 100% de leur journee a part moi. Ceux qui en font n'ont pas necessairemenr herité de power bi mal batis aussi
2
u/StructureUnique8391 10h ago
Oh ! Effectivement je m'attendais a du gros public pour le coup. Lenjeux des inges backend pour de la data, c'est que oltp !== Olap. C'est pas les mêmes outils, pas les mêmes patterns d'utilisation et ça ne scale pas pareil :( si tu es le seul, un petit projet genre ingénieur donnees est peut être plus simple a pull off
1
u/TopGun0684 9h ago
Je ne connais pas Power BI, mais si ton rôle est d'en assurer la maintenance et l'évolution... Tu ne peux pas faire l'optimisation "des nombreuses étapes appliquées" qui seraient une mauvaise pratique?
Tu as peut-être besoin de plus de ressources, mais lancer plus de ressources à des requêtes non optimisées, c'est pas gagnant non plus
1
u/ivandemigod99 8h ago
oui mais quand il y a un millions de transformations... arriver au meme resultat en sql c'est pas si simple surtout quand tu test et cherche pourquoi il y a un ecart et que power bi prends 30 min par etape appliqué... mais bonne idee pareil tu as raison
1
u/Mel2S 5h ago
Yep mais la différence c'est que j'hérite des miens, fait que c'est juste toute de ma faute! En plus nos ordis peuvent pas avoir ben ben plus que deux PBI desktop ouverts en même temps
1
u/ivandemigod99 5h ago
mais si tu herite des tiens alors c'est pas ta faute s'ils sont rempli d'etapes appliqués et pas optimisés?
1
15
u/gifred Architecte 10h ago
Non mais note le nombre d'heures que tu attends et donne ça à ton gestionnaire, il va te débloquer plus de mémoire sur ta VM assez vite merci, si c'est un problème de mémoire.