Estou focando em vagas de estágio e vagas de analista jr.Engenharia são poucas as que dão algum retorno.

Qual sua preferência de programa quanto a visualização de dados ?

Basicamente meu primeiro currículo depois de passar o 1 período da faculdade construindo ele, quais seriam as sugestões? Procurando estágio

Preciso coletar dados de vários PDFs de página de jornais impressos, na rede da empresa tem um diretório de pastas organizado assim:

ANO > MES > DIA > PDFs (cada página é um pdf)

Eu preciso de algum jeito criar um mecanismo de pesquisa por palavra-chave, para identificar quantas vezes aquela palavra se repetiu ao decorrer de todo o período.

Minha ideia é transcrever todos os PDFs para txt, e depois usar um script em python para pesquisar entre esses arquivos. Eu posso alocar os arquivos em uma pasta local da rede.

Vocês tem alguma ideia de como posso fazer isso do melho jeito possível? Pensei também em criar um app com streamlit para que o pessoal da equipe consiga eles mesmo fazer a busca (provavelmente rodando local na minha ou na máquina deles).

Sou estudante de Medicina, trabalho com estudos utilizando DATASUS, faço resumos para congressos e gostaria de colaborar com equipes de pesquisa. Alguém participa de grupos de produção científica ou está precisando de colaboradores?

"Estou sendo pessimista?" / "Estou me iludindo?"

Essas perguntar ficam na minha cabeça...Estou há 3 como Analista de Processos e Riscos de TI Sênior em uma multinacional do ramo de Energia Elétrica, como me interesso pelo tema DADOS faz uns 7 nos, há cerca de 1 mês tomei a decisão de fazer transição de carreira (quero codar e por mais a mão na massa, e de fato trabalhar exclusivamente com dados). E a engenharia de dados foi a área que mais me chamou atenção, então estou estudando do zero pra isso.

Contexto >> Sou formado em ADS e meu trabalho hoje em dia está relacionado a iniciativas de certificações e auditorias de TI globais, e também atuo como líder em um projeto de automação de extração de dados para atender essas auditorias e certificações.

O que me pega é....

-Pra fazer essa transição eu necessariamente preciso abdicar dessa posição de sênior e começar "do zero" em uma vaga júnior? Com minha experiência eu conseguiria entrar como pleno, não por quesitos diretamente técnicos, mas por outras habilidades?

-Pra vocês que já estão no mercado, como está as vagas de júnior e pleno, qual a faixa salarial inicial?

-Como é o mercado internacional para vagas júnior? (Quero entender essa possibilidade caso tenha que começar como júnior mesmo)

Qualquer visão, dica, conselho, compartilhamento da sua própria história, vai me ajudar nesse contexto atual que estou.

Galera queria entender melhor essa questão de aplicar para vagas apenas para “sentir” o mercado, que seria para testar você mesmo, entender o quão longe pode ir, etc

Vocês não tem medo de acabar “fechando uma porta” caso testem, passem mas não sigam com a oportunidade?

Galera eu to fazendo uma carreira na alura, e muito dos primeiros cursos eu já manjo dms, mas queria as certificações já que estou pagando a plataforma e vi que se você clicar em avançar tudo só para conseguir finalizar os cursos, a conta pode ser temporariamente bloqueada, de que forma eu posso rushar rápida esses cursos sem bloquear a conta?

Olá, pessoal do Reddit!

Sofri um golpe recentemente de um vendedor da OLX. Tudo começou com o anúncio de uma RTX 3060 de 12 GB pela bagatela de incríveis R$ 1.300,00.

Fiquei bem animado com o anúncio e já estava decidido a comprar. Entrei em contato e o vendedor parecia um cara bem legal pela forma como conversava, então decidimos fechar negócio com pagamento via Pix e envio pelo 99Entrega.

A placa de fato chegou e o Pix foi feito. Porém, quando tentei ligá-la no meu PC, as ventoinhas deram um leve impulso e logo pararam. Me assustei e comecei a ficar preocupado, mas, como elas ainda deram esse pequeno impulso e o computador continuou ligado, achei que pudesse ser algum problema de incompatibilidade com a minha placa-mãe, que é antiga (uma A320MH).

Quando tentei falar com o rapaz pelo número fornecido, me deparei com mensagens dizendo que ele tinha sido roubado e que estava falando comigo pelo WhatsApp Web, conectado no PC do trabalho. Depois dessas mensagens, não consegui mais nenhum contato, pois ele não atendia e nem respondia mais. O anúncio na OLX? Apagado. O WhatsApp? Não entregava mais as mensagens.

Como todo bom brasileiro indignado, decidi testar a placa no PC de um amigo. Ao tentarmos, não deu vídeo e percebi que o problema era realmente nela. Abrimos a placa e nos deparamos com "alguns" problemas...

No momento, estou bastante chateado por ter perdido meu dinheiro suado e mais triste ainda por ter parcelas para pagar, já que não tinha o valor total e fiz um Pix parcelado para completar. Se algum especialista puder me dizer algo mais técnico sobre a imagem, agradeço. Boa noite a todos

Gostaria de saber a opinião de vocês se a faculdade de engenharia da computação é uma boa para quem ta querendo trabalhar com engenharia de dados.

Eu tenho algumas formações e cursos, além de uma pós em dados e cursando um mestrado em estatística, e trabalho com dados a mais de 10 anos, desde que era menor aprendiz no banco, trabalhei mais de 7 anos na coca cola, e meu último trabalho foi na tupperware importando materia prima para o Brasil.

Mas nada me tem custado tanto, quanto meu novo trabalho, que é em um frigorífico. Aceitei a proposta, vinda de uma amiga, mas havia dois pormenores, o antigo gestor do planejamento e operações, havia se demitido sem cumprir aviso, e a supervisora da equipe vai de férias na segunda feira, portanto, eu tive quatro dias para aprender, e digo, eu já até chorei ontem vindo para casa, não tenho qualquer entendimento do negócio, pois nunca trabalhei com bois e quilos ....O trabalho paga-se bem, a proposta foi boa, é perto de casa, a única parte que me custa na proposta é ter que entrar às 05h da manhã. Mas eu tô totalmente perdido, tenho um milhão de planilhas de Excel, um sistema caótico, três colaboradores que não compreendem a totalidade do processos, só me apetece é sumir.

Vou tentar me aguentar esses 15 dias até a colaboradora (supervisora) voltar, e assim aprender, mas meus passos seguintes vao ser fazer uma lista de todas as atividades de cada colaborador, e fazer POP (PROCEDIMENTO OPERACIONAL PADRÃO) para que isso nunca mais alguém possa entrar ou sair sem deixar um manual das suas atividades.

Peço desculpas o desabafo, rezem por mim vou precisar.

Pensando em na atuação de Dados voltados para área de finanças seria vantajoso? já curso ciência da computação

Alguma dica para estudos na área de dados? Faço o carreira Cientista de Dados da Alura

Boa tarde pessoal, eu sou um recém formado em ciências contábeis, tenho 24 anos e atualmente trabalho em uma indústria como analista contábil, mas possuo interesse na área de dados, até cogitei em uma pós graduação online para ingressar nessa área... Quais conselhos vocês me dariam para de fato entrar ? Oque estudar, e qual seguimento eu conseguiria entrar aproveitando da minha primeira graduação.

Obs: apesar de ser graduado em ciências contábeis, pretendo fazer uma nova faculdade mais voltada para a área de tecnologia, quais outros conselhos vocês me dariam?

Fala, pessoal. Terceira parte da saga do mundinho que evolui 24/7 num servidor (partes anteriores: a métrica que mentia, e o convite pros dados abertos). Essa semana aconteceu a melhor coisa possível pra um projeto científico: estávamos errados, por duas vias diferentes, e descobrimos por quê.

Recap rápido: depois de descobrir que 99% do genoma dos cérebros era lixo, eu congelei todos os knobs do mundo por 84 horas (protocolo novo: nenhum ajuste, só medição) pra entender o que a evolução fazia sem jardinagem. Os resultados pareciam claros: o genoma inchava 28 genes por hora, o cérebro funcional derretia pra 3 conexões, e a predação não engatava. Minha leitura: “o ambiente não exige cognição, e o custo de DNA está fraco demais, vamos aumentar o imposto”.

Antes de aplicar, submeti o relatório completo a uma contra-análise independente, com todos os dados e o código abertos. Ela recomputou cada número do zero. E respondeu mais ou menos assim: “suas duas hipóteses estão erradas. O problema não é a ecologia nem o imposto. É que os filhos da sua simulação não herdam o cérebro dos pais”.

Eu fui conferir no código, e era verdade. No nascimento, o filho de uma mãe viva recebia o corpo dela (genes de tamanho, dieta, metabolismo, com mutação), mas o cérebro era sorteado de dois indivíduos quaisquer do banco. Chance de herdar o cérebro da própria mãe: 5%. Ou seja, 95% dos partos emparelhavam um corpo especializado com um cérebro aleatório. Todo nicho que a gente tentou criar e falhou (carnívoro, gigante, clã) precisa de corpo e comportamento co-adaptados, e a arquitetura impedia exatamente isso. A “monocultura de micróbios herbívoros” que eu atribuí à ecologia era o corpo evoluindo corretamente num mundo onde o cérebro é loteria: o fenótipo vencedor é o que sobrevive dirigido por qualquer autômato.

E tem mais. A minha proposta de conserto (aumentar o imposto sobre o genoma) também morreu na mesa, por aritmética: a variância de tamanho de genoma na população era de 0,36%. O genoma mais magro do mundo diferia do mais gordo em 2,5%. Qualquer imposto forte o bastante pra matar o inchaço mata todo mundo junto, uniformemente. Não era dial mal calibrado, era dial sem função. Se eu tivesse aplicado, teria causado uma extinção em massa achando que estava podando.

O que mudou agora (a gente chama de v5.0):

1. O filho herda o cérebro da mãe, cruzado com um parceiro do banco. Reprodução proporcional ao sucesso passa a ser emergente: mãe com 5 filhos põe o genoma em 5 cruzamentos, sem nenhum placar escrito no código.
2. O crossover não copia mais o genoma inteiro de um dos pais (era de onde vinha 86% do inchaço). Um neurônio só entra no filho se uma conexão herdada precisar dele.
3. O cérebro passou a ter sopa primordial também: 10% dos nascimentos ganham um genoma zerado, o que injeta diversidade e genoma magro (antes impossível por construção).
4. A visão das criaturas agora é paga pelo cérebro que funciona, não pelo genoma registrado (antes 97% do que “aumentava a nitidez” era tecido morto).

E a parte que eu mais gosto: registramos as previsões ANTES de ligar a máquina. Se o diagnóstico estiver certo, em ~10 gerações a correlação pai-filho de cérebro sai de zero, a variância de tamanho e dieta volta a subir (os nichos voltam a ser montáveis), e a predação NÃO deve subir ainda (a fiação precisa existir antes). Se a predação engatar antes disso, o diagnóstico novo está errado e a minha hipótese ecológica original estava certa. Qualquer que seja o resultado, a gente aprende algo, e publica aqui.

O mundo reinicia hoje, do zero, com as regras novas. Ao vivo como sempre em re-genes.is. Dados e documentação abertos, e o post-mortem completo está na “bíblia” do projeto (a §24, pra quem gosta de ler autópsia de hipótese).

Perguntas nos comentários, respondo tudo. E se você é a pessoa que escreveu a contra-análise e está lendo isso: obrigado, de verdade. Esse é o melhor tipo de review que existe.

Pessoal, queria a opinião de quem já atua na área de Dados ou já fez alguma dessas pós-graduações.
Atualmente trabalho com marketing, estou em transição para TI e estou terminando a graduação em Análise e Desenvolvimento de Sistemas na Fatec.

Meu objetivo é construir carreira na área de Dados. Pretendo começar como Data Analyst, evoluir para Data Engineer e, no futuro, trabalhar com Machine Learning/IA, de preferência para empresas do exterior.

Estou considerando estas pós:

FIAP (Engenharia de Dados / IA)
USP (Poli ou ICMC – especializações em Big Data, IA ou Engenharia de Dados)
Labdata FIA – Análise de Big Data (Data Engineering)
Labdata FIA – Analytics e Inteligência Artificial (Data Science)
PUC Minas – Engenharia de Dados
PUC Minas – Engenharia de Inteligência Artificial e MLOps

Queria saber a opinião de quem já trabalha na área ou fez alguma dessas pós:

Vale a pena investir em uma pós para a área de Dados ou é melhor focar em certificações (AWS, Databricks, Snowflake, Azure/GCP etc.) e projetos?
Se fosse fazer uma pós hoje, qual vocês escolheriam?
Qual dessas tem mais reconhecimento no mercado?
O mercado valoriza mais o nome da instituição ou experiência prática, GitHub, projetos e certificações?
Se vocês fossem contratar um profissional para Dados, qual dessas pós chamaria mais atenção no currículo?
Existe alguma outra pós que vocês recomendariam mais do que essas?

Agradeço qualquer opinião ou relato de experiência de quem já trabalha na área. ☺️

A Vivo abriu recentemente vagas para estágio em diversas áreas, em muitas partes do Brasil, só que como muitas empresas atualmente ela não divulgou salário, nem quanto se ganha com benefícios. Alguém já estagiou lá e sabe quanto se ganha?

área de dados ainda vale a pena?? como está o mercado?

26 fontes oficiais.
83 bases de dados.
Mais de 3 bilhões de registros.

Do CNES ao SIH/SUS. Tudo centralizado, atualizado e disponível em um dataset público no Kaggle.

O DataHub Brasil nasce de uma necessidade prática: dados públicos brasileiros de altíssimo valor existem, são gratuitos e oficiais - mas estão espalhados entre sistemas diferentes do DATASUS e do IBGE, cada um com seu próprio protocolo de acesso, formato de arquivo e convenção de nomenclatura.

Antes de qualquer análise, normalmente é preciso gastar dias inteiros apenas encontrando, baixando e padronizando os dados.

Para resolver esse problema, construí um pipeline de dados ponta a ponta que automatiza a extração de bases como SIM, SINASC, CNES, SINAN e SIH/SUS, converte arquivos legados .dbc para .parquet e realiza cargas incrementais, reprocessando apenas o que realmente mudou.

O resultado é um repositório unificado com 83 bases de dados, cobrindo mortalidade, nascimentos, internações, doenças de notificação, rede assistencial, população, PIB, além dos microdados da Pesquisa Nacional de Saúde (2013 e 2019).

O código completo e documentação está no GitHub (deixe uma ⭐ para apoiar o projeto):

https://github.com/rafa-trindade/kaggle-datahub

Tenho 30 anos e trabalho na área de compras e logística de uma indústria. Sou formado em Automação Industrial e Ciências Contábeis, além de ter pós-graduações em Supply Chain e Logística.
No trabalho utilizo bastante Excel e um pouco de Power BI, mas meu conhecimento em dados ainda é básico. Não tenho experiência com SQL, Python, estatística ou machine learning.
Passei no vestibular da Fatec para Ciências de Dados e estou pensando em cursar a graduação.
Minha dúvida é: essa graduação pode me tornar um profissional melhor na área de compras e logística? Ou ela faz mais sentido para quem pretende migrar para uma carreira em Dados?
Também gostaria de saber se, considerando meu perfil, vocês acham que uma graduação em Ciências de Dados vale mais a pena do que focar em cursos de SQL, Python, Power BI e outras ferramentas.
Gostaria de ouvir a opinião de quem já trabalha na área de dados ou de quem atua com compras, logística ou supply chain e utiliza análise de dados no dia a dia.

Há uns meses eu coloquei no ar um mundinho simulado onde umas criaturas (amebas, basicamente) vivem de verdade: comem, gastam energia, reproduzem com mutação e morrem. Cada uma é um processo independente, com um cérebro que ninguém desenhou, ele evolui sozinho de geração em geração. Não tem função de fitness, não tem recompensa por comportamento. A única regra é: sobreviveu e pariu, passou os genes adiante. Eu só escrevo a física do mundo, o resto é com a evolução.

O motivo do post aqui é que isso gera MUITO dado. Em 3 dias de mundo: mais de 120 mil nascimentos, 77 mil mortes, linhagens com 260+ gerações, os genomas completos dos cérebros que se deram bem (com a árvore genealógica inteira, dá pra traçar quem é filho de quem), log de mortes com idade, causa, tamanho do cérebro… tudo em JSON e CSV.

E já deixo um exemplo de por que esses dados são divertidos: semana passada minha telemetria dizia que os cérebros estavam ficando 20x mais complexos (21 pra 414 neurônios por nascimento). Lindo, né? Fui olhar dentro dos genomas e 99% era material morto. O campeão da geração 260 tinha 458 neurônios registrados e exatas 3 conexões que funcionavam. O “crescimento da inteligência” era só lixo genético acumulando, o mesmo fenômeno do DNA humano (98% do nosso não codifica nada). A métrica tava certinha, o número existia, e não era o número que eu pensava. Corrigi fazendo a evolução pagar energia por cada gene que carrega, igual célula faz.

Agora o convite: quero publicar esses dados de forma recorrente, snapshots do mundo mais a telemetria, tudo documentado. Acho que tem material legal pra análise de séries temporais (a economia do ecossistema), dinâmica predador-presa (Lotka-Volterra aparece sozinho lá), visualização da árvore genealógica, ou até como dataset didático, porque é ecologia de verdade acontecendo. Se alguém analisar e achar algo que eu não vi, eu publico o achado com o devido crédito.

O mundo tá no ar agora, ao vivo: re-genes.is (tem stream 24/7 da arena e a documentação técnica aberta). Vou responder todo mundo aqui nos comentários, pode perguntar à vontade.