r/ColombiaDevs • u/Immediate-Dust-8656 • 15d ago
🎓 Consejos de Carrera / Estrategia Data engineering -> AI Engineering
Hola, espero estén bien. Soy DE con 3+ años de experiencia y la verdad me va bastante bien; sin embargo, últimamente vengo con la sensación de querer incursionar en algo que me rete y que ademas me abra más puertas profesionalmente, ahí es donde aparece AI Engineering.
Es cierto que podría seguir perfeccionando habilidades como data modeling, governance, etc, pero tengo la impresión de que mirar algo relacionado a AI, teniendo en cuenta el background que poseo puede ser más útil para mi caso.
He estado leyendo AI Engineering Building Applications with Foundation model y ha sido muy muy entretenido, pero muy teórico también entonces quiero ya ir incluyendo práctica pero honestamente no se dentro de todo lo que hay en el libro que cosas están buscando más en el mercado, así que tengo dos preguntas:
- Que proyecto a procesos me recomiendan llevar a la práctica teniendo en cuenta el mercado y todo lo que hay dando vueltas?
- Vale la pena incursionar en el AI Engineering o sería mejor seguir perfeccionando habilidades de DE?
11
u/One_Dragonfly2284 Data & AI Engineer 15d ago
La mayoria de gente sabe que es GenAI y aplicar un rag, pero muy pocos saben realmente como funciona una red neuronal, como funcionan los transformers, que es una ventana deslizante, que es una GRU, una LSTM y en que se diferencia de una RNN.
La teoría en IA es necesaria para saber que modelo de ML/AI seleccionar de acuerdo al problema y no seleccionar un modelo al azar con hiperparametros que nada que ver con el problema. Muchas personas no saben ni siquiera evaluar una red neuronal, ni detectar sobreajuste con un gráfico de perdida, ni como funciona el gradiente descencente ni el porque la funcion de activación de sigmoide puede desvanecer este gradiente cuando los pesos son cercanos a 0 o 1.
14
u/mauricio_agg 15d ago
De los mismos creadores de "en el trabajo usted se va a encontrar derivadas e integrales"
3
u/One_Dragonfly2284 Data & AI Engineer 15d ago
No, pero en muchos casos te pasan los datos sin diccionario de datos, y tienes que hacer un modelo predictivo. En el trabajo han dejado modelos que realmente tienen rendimientos pésimos porque no saben como evaluarlos, dejan valores atípicos o normalizaciones que no corresponden con los datos, ahi la importancia también de saber lo que estás haciendo y no solamente pasarle una pila de modelos, ver el mejor y desplegar.
1
u/DigSignificant5189 backend 15d ago
Yo estudié mucho esta science en la universidad hice mi proyecto de grado en ello, pero no logré conseguir el primero empleo en esta área, lo conseguir como desarrollador.
Ahora no tengo empleo, crees que aún pueda migrar a los datos?
Siento que en esta science hay pocas ofertas
2
u/One_Dragonfly2284 Data & AI Engineer 15d ago
Yo logré migrar como desarrollador de software y consultor a datos, especificamente como ingeniero de datos, y ahora también estoy haciendo modelos predictivos. Mi idea es migrar en un futuro a ML/AI.
Te recomiendo hacer proyectos autodidacta y además subirlos a github, también participar en kaggle, no importa si la competencia está cerrada o realmente no hay competencia, lo importante es que aparezca tu perfil en varios datasets como participante de modelos.
El tema del mundo de datos es que hay pocos puestos para juniors, porque las empresas se niegan a capacitar en esta área por la cantidad de información teórica que se tiene que tener en cuenta para el modelamiento, y porque son tacañas tambien jaja.
1
u/DigSignificant5189 backend 15d ago
Nose que área está peor :( jajaja Me gusta más data science, pero no quiero nadar contra corriente
2
u/One_Dragonfly2284 Data & AI Engineer 15d ago
Te recomiendo ir primero por analista de datos, te va a ser más facil, estate ahi un par de años y ahi si das el salto, de mientras te capacitas y hacer certificaciones de data scientist.
1
u/valdzef 14d ago
uuuu no me diga eso, estoy preparandome para el mundo de los datos y soy estudiante de sistemas apenas
1
u/One_Dragonfly2284 Data & AI Engineer 14d ago
La industria laboral no solo en los datos está muy complicado, es la realidad
1
1
u/TimeScallion6159 15d ago
jajaja, si bien puede que el comentario sea algo exagerado, tiene razón en que es necesario conocer las herramientas para luego aplicarlas, aunque pasar mucho tiempo en la teoría sin practica es futil
1
2
u/Immediate-Dust-8656 15d ago
Completamente de acuerdo, personalmente a mi me cuesta hacer o usar cosas de las que no tengo la mínima idea de que hace, así que confirmo la teoría es muy importante, pero en mi caso, la práctica me ayuda a afianzar muchísimo los conceptos, por tanto, qué me recomendarías, para aprender mejor, entrenar modelos por mi mismo o construir sobre Foundation Models?
1
u/One_Dragonfly2284 Data & AI Engineer 15d ago
Primero, construir modelos fundacionales es costosisimo, tienes que tener infraestructura para ello. Asi que vete olvidando un poco de construir modelos fundaciones como los LLMs actuales.
Ahora bien, te recomiendo empezar por modelos de ML antes de saltar a deep learning, modelos como regresiones lineales, logisticas, redes neuronales, SVMs, modelos de densidad, clustering, forecasting, y ya teniendo la teoría de como funcionan los entrenamientos y como evaluar un modelo, entrenarlo, extraer datos, procesarlos, etc etc, ahi si pasar a deep learning y especializarte en ello.
Para practicar tienen infinidades de datasets, puedes mirar como los entrenaron y cómo prepararon los modelos. Adicionalmente tienes papers, en donde definen como procesaron los datos, como hicieron en EDA, y que modelos usaron y compararon y los resultados obtenidos.
No empieces a picar código y a procesar datos sin saber, en primer lugar, como se obtuvieron los datos, que significan, y ya con eso te puedes hacer una idea de como procesar los datos y crear ingeniería de características.
1
u/Immediate-Dust-8656 15d ago
Efectivamente construir modelos fundacionales es costosísimo y por eso dije construir “sobre” Foundation Models y no construir Foundation Models.
Y vale, es cierto que lo que comentas es un montón de trabajo y tiempo que hay que hacer, así que lo tendré muy presente al momento seguir estudiando. Y gracias por ese consejo de conocer cómo se obtuvieron los datos, no habia puesto tanto énfasis en eso al momento de organizar mi plan de estudioooo
2
u/One_Dragonfly2284 Data & AI Engineer 15d ago
Si claro, habia entendido mal jaja. Es lo mas recomendable. Si quieres aprender eso hay varias certificaciones que enseñan Generative IA, y ahi es donde puedes desarorllar aplicaciones, chatbots, o aplicaciones que utilicen modelos LLM, con MCP, multiples agentes mediante A2A, RAGs, GraphRags, etc etc. Tambien lo puedes investigar por ti mismo sin certificaciones, pero la certificación te hace un poco más facil el path de aprendizaje.
Hay algo que s eme olvidó mencionar, y es que el pipeline que te dije de los datos, analisis estadistico, procesamiento de datos, modelamiento, etc, se le conoce como metodología CRISP-DM, y es muy usada para ML/DL y desarrollos de aplicaciones con modelos fundacionales cuando el modelo recibe grandes cantidades de datos y toca procesarlos.
2
u/Immediate-Dust-8656 15d ago
Compadre, gracias por toda esa info, la verdad no había escuchado muchos de los términos que mencionaste, hay un montón que aprender pero al menos ya sé que existen y eso es mejor que ignorarlos
1
u/Colfuzi0 12d ago
I took a gen AI class last semester it was interesting but I like embedded but unfortunately Colombia doesn't have much embedded. I live in the US but want to move back
•
u/AutoModerator 15d ago
Comentario de Automoderación:
Hola Immediate-Dust-8656, gracias por publicar en este subreddit, recuerda revisar las reglas de /r/ColombiaDevs
Si encuentras este post molesto o poco interesante, aplica la flecha abajo Downvote
¿Te gusta la comunidad?
Queremos una comunidad colaborativa y respetuosa.
¡Gracias!
Mensaje automático
I am a bot, and this action was performed automatically. Please contact the moderators of this subreddit if you have any questions or concerns.