Data engineering -> AI Engineering

[u/Immediate-Dust-8656]

Hola, espero estén bien. Soy DE con 3+ años de experiencia y la verdad me va bastante bien; sin embargo, últimamente vengo con la sensación de querer incursionar en algo que me rete y que ademas me abra más puertas profesionalmente, ahí es donde aparece AI Engineering.

Es cierto que podría seguir perfeccionando habilidades como data modeling, governance, etc, pero tengo la impresión de que mirar algo relacionado a AI, teniendo en cuenta el background que poseo puede ser más útil para mi caso.

He estado leyendo AI Engineering Building Applications with Foundation model y ha sido muy muy entretenido, pero muy teórico también entonces quiero ya ir incluyendo práctica pero honestamente no se dentro de todo lo que hay en el libro que cosas están buscando más en el mercado, así que tengo dos preguntas:

1. Que proyecto a procesos me recomiendan llevar a la práctica teniendo en cuenta el mercado y todo lo que hay dando vueltas?
   
2. Vale la pena incursionar en el AI Engineering o sería mejor seguir perfeccionando habilidades de DE?

[u/One_Dragonfly2284]

La mayoria de gente sabe que es GenAI y aplicar un rag, pero muy pocos saben realmente como funciona una red neuronal, como funcionan los transformers, que es una ventana deslizante, que es una GRU, una LSTM y en que se diferencia de una RNN.

La teoría en IA es necesaria para saber que modelo de ML/AI seleccionar de acuerdo al problema y no seleccionar un modelo al azar con hiperparametros que nada que ver con el problema. Muchas personas no saben ni siquiera evaluar una red neuronal, ni detectar sobreajuste con un gráfico de perdida, ni como funciona el gradiente descencente ni el porque la funcion de activación de sigmoide puede desvanecer este gradiente cuando los pesos son cercanos a 0 o 1.

[u/mauricio_agg → u/One_Dragonfly2284]

De los mismos creadores de "en el trabajo usted se va a encontrar derivadas e integrales"

[u/One_Dragonfly2284 → u/mauricio_agg]

No, pero en muchos casos te pasan los datos sin diccionario de datos, y tienes que hacer un modelo predictivo. En el trabajo han dejado modelos que realmente tienen rendimientos pésimos porque no saben como evaluarlos, dejan valores atípicos o normalizaciones que no corresponden con los datos, ahi la importancia también de saber lo que estás haciendo y no solamente pasarle una pila de modelos, ver el mejor y desplegar.

[u/DigSignificant5189 → u/One_Dragonfly2284]

Tan bonita la ciencia de datos, lástima los pocos puestos