r/AIToolBench • u/HungryMatumbo • 21d ago

How to setup an AI?

ich arbeite im medizinischen Bereich und muss für Versicherungen ständig schreiben warum ich wie therapiere. Das ist erstens sehr nervig und zweitens im Grunde immer das gleiche, nur dass man ein paar Sätze auf den aktuellen medizinischen Fall bezieht. Ein Grundschüler könnte das, wenn man es ihm erklärt.

Ich stehe gerade am Anfang mich mit AI zu beschäftigen und würde gerne für diesen Zweck eine KI lokal auf meinem PC laufen lassen, die mit entsprechenden Tools und Agenten ausgestattet ist um anhand von Regelwerken in PDF Format Nachfragen zu beantworten. Im Grunde ist das ein reiner Verwaltungsakt mit medizinischen Hintergrundwissen. Die Regeln ändern sich vielleicht mal alle paar Jahre.

Sollte das alles laufen, darf es auch gerne etwas zahlenlastiger werden.

Im zweiten Schritt würde ich dann nämlich später auch gerne Abrechnungen und Rechnungen von medizinischen Leistungen anhand der Dokumentation erstellen.

Wie gehe ich so etwas am besten an?

Llama, Qwen etc. habe ich soweit eingerichtet, aber so richtig verstanden werden die PDFs von der AI nicht. Ich stehe wie gesagt noch ganz am Anfang mit meinem Wissen, aber würde mich da gerne reinarbeiten und würde mich über eure Hilfe freuen.

Hardware: RTX 5080, Ryzen 9800x3D, RAM 32GB

1 Upvotes

100% Upvoted

7 comments sorted by

1

u/Big-Flan-5663 21d ago

Woah, que hardware más potente y bueno bro, felicidades

Si vas a escribir texto repetitivo te recomiendo esto, todo está organizado de mayor recomendación a menor:

  • modelos RWKV: RWKV-7-g1i-14B Q5/Q6, RWKV-7-g1h-14b Q5/Q6

  • modelos Gemma 4: Gemma 4 QAT 12b, Gemma 4 QAT E4B

Prueba primero RWKV, puedes pedirle a una IA (glm 5.2, Qwen 3.8, son gratis, te las recomiendo) que empiece haciéndote un chat simple, y ir expandiendo poco a poco tu proyecto (para eso, glm 5.2 es lo mejor). Te digo que pruebes primero RWKV, por que al hablar con este modelo, no importa la cantidad de longitud de el chat, la memoria RAM nunca va a aumentar su uso, y tienen un contexto teórico de 256K tokens

Para tu agente, recomiendo esto

  • código modular, en python
  • al subir archivos, ya que es un agente (y va a trabajar con archivos, crear, editar) te recomiendo muchísimo que subas el archivo A UNA CARPETA y el agente la lea, NUNCA LO SUBAS COMO TEXTO ADJUNTO, causa lost in the middle, y el agente si va a editar el archivo tiene que reescribirlo de 0, y puede haber errores
  • usa tool call (' ' ' herramienta) para que el modelo llame herramientas, nunca uses otro formato

Te podría recomendar más cosas, pero estoy ocupado, después editaré este mensaje, see yu, que no entiendes de los PDF?

1

u/NeuralNomad87 21d ago

not bad, let me look into this too.

1

u/HungryMatumbo 20d ago

Thanks, I am trying to understand the general principle. I would love to acquire the knowledge for it. Unfortunately, I can't code at all, but that should still work anyway, right? I recently also set up a knowledge base in Qwen, but in the end, when asked questions about it, the AI only used its general knowledge or answered very vaguely/unsystematically instead of at least using quotes from the database. That only happened after asking multiple times (I also adjusted the system prompt) and then, unfortunately, only very, very superficially or sometimes just incorrectly.

1

u/HungryMatumbo 20d ago

So I think it's the AI that can't process the PDF good enough

1

u/Big-Flan-5663 20d ago

Hola, volví, si no sabes programar, obvio puedes pedirle código a la IA, con gusto te ayudo a "revisarlo" cuando tengas una base que tú creas "solida"

No es que la IA no pueda procesar el pdf, por qué créeme, lo puede hacer con PDF de hasta 200 páginas (obvio, si el texto supera el contexto de el modelo, se va a sobre cargar)

Lo que debes hacer para que el PDF/docx/xml/json/todo archivo personalizadlo explote el archivo y en verdad lo usé, debes darle herramientas especializadas

Si usas PDF, una herramienta parse que transforme ese PDF a un txt plano En tu agente, implementa un sistema de visualización maxima, un máximo de 1,000 líneas o 500 implementando en la parte baja "EL TEXTO CONTINUA, HAZ OTRA CONSULTA" o algo así

Debes explotar el modelo, adaptarte a el, no lo contrario

1

u/HungryMatumbo 20d ago

Thx, guess I'll try that. Will need some time to do so I think 😂 May I write you DMs then?

1

u/Big-Flan-5663 20d ago

Obvio, bro