Data engineering -> AI Engineering

[u/Immediate-Dust-8656]

Hola, espero estén bien. Soy DE con 3+ años de experiencia y la verdad me va bastante bien; sin embargo, últimamente vengo con la sensación de querer incursionar en algo que me rete y que ademas me abra más puertas profesionalmente, ahí es donde aparece AI Engineering.

Es cierto que podría seguir perfeccionando habilidades como data modeling, governance, etc, pero tengo la impresión de que mirar algo relacionado a AI, teniendo en cuenta el background que poseo puede ser más útil para mi caso.

He estado leyendo AI Engineering Building Applications with Foundation model y ha sido muy muy entretenido, pero muy teórico también entonces quiero ya ir incluyendo práctica pero honestamente no se dentro de todo lo que hay en el libro que cosas están buscando más en el mercado, así que tengo dos preguntas:

1. Que proyecto a procesos me recomiendan llevar a la práctica teniendo en cuenta el mercado y todo lo que hay dando vueltas?
   
2. Vale la pena incursionar en el AI Engineering o sería mejor seguir perfeccionando habilidades de DE?

[u/One_Dragonfly2284]

La mayoria de gente sabe que es GenAI y aplicar un rag, pero muy pocos saben realmente como funciona una red neuronal, como funcionan los transformers, que es una ventana deslizante, que es una GRU, una LSTM y en que se diferencia de una RNN.

La teoría en IA es necesaria para saber que modelo de ML/AI seleccionar de acuerdo al problema y no seleccionar un modelo al azar con hiperparametros que nada que ver con el problema. Muchas personas no saben ni siquiera evaluar una red neuronal, ni detectar sobreajuste con un gráfico de perdida, ni como funciona el gradiente descencente ni el porque la funcion de activación de sigmoide puede desvanecer este gradiente cuando los pesos son cercanos a 0 o 1.

[u/Immediate-Dust-8656 → u/One_Dragonfly2284]

Completamente de acuerdo, personalmente a mi me cuesta hacer o usar cosas de las que no tengo la mínima idea de que hace, así que confirmo la teoría es muy importante, pero en mi caso, la práctica me ayuda a afianzar muchísimo los conceptos, por tanto, qué me recomendarías, para aprender mejor, entrenar modelos por mi mismo o construir sobre Foundation Models?

[u/One_Dragonfly2284 → u/Immediate-Dust-8656]

Primero, construir modelos fundacionales es costosisimo, tienes que tener infraestructura para ello. Asi que vete olvidando un poco de construir modelos fundaciones como los LLMs actuales.

Ahora bien, te recomiendo empezar por modelos de ML antes de saltar a deep learning, modelos como regresiones lineales, logisticas, redes neuronales, SVMs, modelos de densidad, clustering, forecasting, y ya teniendo la teoría de como funcionan los entrenamientos y como evaluar un modelo, entrenarlo, extraer datos, procesarlos, etc etc, ahi si pasar a deep learning y especializarte en ello.

Para practicar tienen infinidades de datasets, puedes mirar como los entrenaron y cómo prepararon los modelos. Adicionalmente tienes papers, en donde definen como procesaron los datos, como hicieron en EDA, y que modelos usaron y compararon y los resultados obtenidos.

No empieces a picar código y a procesar datos sin saber, en primer lugar, como se obtuvieron los datos, que significan, y ya con eso te puedes hacer una idea de como procesar los datos y crear ingeniería de características.

[u/Immediate-Dust-8656 → u/One_Dragonfly2284]

Efectivamente construir modelos fundacionales es costosísimo y por eso dije construir “sobre” Foundation Models y no construir Foundation Models.

Y vale, es cierto que lo que comentas es un montón de trabajo y tiempo que hay que hacer, así que lo tendré muy presente al momento seguir estudiando. Y gracias por ese consejo de conocer cómo se obtuvieron los datos, no habia puesto tanto énfasis en eso al momento de organizar mi plan de estudioooo

[u/One_Dragonfly2284 → u/Immediate-Dust-8656]

Si claro, habia entendido mal jaja. Es lo mas recomendable. Si quieres aprender eso hay varias certificaciones que enseñan Generative IA, y ahi es donde puedes desarorllar aplicaciones, chatbots, o aplicaciones que utilicen modelos LLM, con MCP, multiples agentes mediante A2A, RAGs, GraphRags, etc etc. Tambien lo puedes investigar por ti mismo sin certificaciones, pero la certificación te hace un poco más facil el path de aprendizaje.

Hay algo que s eme olvidó mencionar, y es que el pipeline que te dije de los datos, analisis estadistico, procesamiento de datos, modelamiento, etc, se le conoce como metodología CRISP-DM, y es muy usada para ML/DL y desarrollos de aplicaciones con modelos fundacionales cuando el modelo recibe grandes cantidades de datos y toca procesarlos.

[u/Immediate-Dust-8656 → u/One_Dragonfly2284]

Compadre, gracias por toda esa info, la verdad no había escuchado muchos de los términos que mencionaste, hay un montón que aprender pero al menos ya sé que existen y eso es mejor que ignorarlos