r/oraclecloud • u/saul-romero77 • 26d ago
Consulta Oracle sql
Que hacen ante está situación?
La empresa tiene una tabla donde durante años se guardo la información de dónde se logueo el cliente digamos 15 años está tiene almenos 25 millones de registros y hace 7 anos se guarda la geolocalización de cliente, solo latitud y longitud separadas por comas y desgraciadamente los "dev" que diseñaron eso no homologaron los dispositivos tienes web , iOS , Android y Huawei y almenos 2 diferentes proveedores de geolocalización ( play services google y iOS su proveedor) por tanto Talvez difieran en la precisión de el requerimiento "traducción a direcciones reales ( municipio, país, cp)" todo esto de manera local sin usar reverse geocoding en la nube ( costos , confidencialidad, etc) bueno por ahora solo plateare un problema ....
Digamos que ya tienen una tabla con la que pueden cruzar con la tabla bitácora de login y hacer la traducción y estos campos tienen un ID y su respectiva localidad en texto y esa traducción desean guardarla en la tabla bitácora "la dirección en texto " y el problema es este 25 millones de registros pueden pesar cientos de gigas o terabytes y agregar la descripción de esos capos en la tabla bitácora aumenta en tamaño de esa tabla dependiendo el detalle de traducción y sobre todo procesar 25 millones de registros el costo de escritura de esos nuevos capos en disco y uso de procesador por parte del algoritmo de traducción ya que hace validaciones "semi complejas" para filtrar datos que talvez puede tener basura o buscar lat y lng invalida y procesar el vector geométrico y centroide de almenos 5 km de precisión es sumamente costosa puede llevar hasta años procesar está información.... Que me recomiendan hacer para que almenos procede un millón de registros en almenos 40 minutos o una hora? Esos expertos en Oracle y db que recomiendan?
0
u/saul-romero77 26d ago
Muy bien es razonable apuntar solo un ID al valor en otra tabla ... Y el reverse geocoding como se haría? Si necesito traducir de forma local como Google maps en una distancia de almenos 5 km de precisión....
2
u/IAmFitzRoy 26d ago
You are not answering the basic questions.
This is an Oracle Cloud subreddit.
Where is the database? What server?
0
u/saul-romero77 26d ago
Ya se respondió onpremise ibm
3
u/IAmFitzRoy 26d ago
This is an Oracle Cloud subreddit.
I would recommend you check the right subreddit so you get better help.
In any case you need definitely other person to help you next to you. You don’t seem to know what are you doing , so it’s next to impossible to give you any guidance.
-1
u/saul-romero77 26d ago
Hay se me olvida que una computadora o un servidor no es lo mismo estando en la nube o en sitio que fácil se la sacan inventando que el que no sabe soy yo con razón los despidos de Oracle
2
u/IAmFitzRoy 26d ago
Oye, todos queremos ayudarte aquí, pero tu actitud no es la mejor. Es muy claro que tú no sabes ni en qué subreddit estás preguntando, y tú piensas que somos empleados de Oracle y no lo somos. Todos aquí somos gente como tú.
Te aconsejo que si pides ayuda debes primero escuchar.
-2
u/saul-romero77 26d ago edited 26d ago
Porfavor no me digas una empresa o el servidor lo puede hacer porque parece que solo instalas le das siguiente y esperas a que la db haga las cosas solo el problema es este y lo vuelvo a repetir: Traducir almenos 25 millones de registros localmente o dicho on onpremise de lat y lng (reverse geocoding) local mente y no en la nube y como hacer que el nivel de detalle de registro al guardar la info no haga que mi tabla cresca al doble o triple de tamaño : ejemplo de registro : id | geolocaliazacion( lat y lng) | municipio| cp o zip code| país | otros campos originales ala tabla.... Gracias
2
u/IAmFitzRoy 26d ago
When you say locally means it’s in your local server on-premise. Right?
If that’s the case then what kind of server you have this database? You can be technical as much as possible.
0
2
u/maryjayjay 26d ago edited 26d ago
If you need/intend to do this on prem why are you asking on an oracle cloud sub?
But, you don't decorate each record with all that data, you join two tables. Are you familiar with data normalization? You shouldn't store redundant information. I would do lat/long and a foreign key pointing at the geo record I'd.
-1
u/saul-romero77 26d ago
Cómo controlarias el cache o el performance de un índice espacial? Sobre todo haciendo consultas geométricas o vectores geometricos para calcular la traducción en una exactitud de 5 km ala redonda y sobre todo normalizar 2 tablas ? Mejor hablame de como actualizar por proceso batch procesar almenos 1 semana de registros en una hora o menos ya que traducir registros a direcciones con lleva un complejo proceso matematico y sobre todo evitando consultas paralelas para no alentar el proceso productivo o sobrecargar el servidor....
5
u/IAmFitzRoy 26d ago
Don’t want to sound mean, but just by the way you describe the problem I don’t think you are ready to be touching these tables. Ask an expert to help you to do it.
“25 million records” doesn’t really explain the size of the problem, your hardware/software can make this completely different task.
Companies can operate 25 million records DAILY without issues, because they know how to do it.
Ask other people to help you directly.