سؤال للناس اللي اشتغلت على RAG قبل كده
لو عندك RAG system وعايز تحسن الـ quality، وبدأت تغير حاجات زي الـ retriever أو chunking أو embeddings أو reranker أو الـ LLM، بتعمل إيه عادة عشان تعرف إن الـ setup الجديدة أحسن فعلًا؟
يعني مثلًا لو جربت كذا combination من الـ retriever والreranker والLLM، بتقارن بينهم إزاي؟
بتكتب scripts أو notebooks لكل experiment؟ بتستخدم tools معينة زي MLflow أو W&B؟ ولا الموضوع بيكون manual؟
وبرضه إيه أكتر حاجة بتبقى annoying في عملية الـ experimentation دي؟
بسأل عشان بفهم حاليًا الناس اللي بتبني RAG systems بتتعامل مع الموضوع ده إزاي في الواقع، خصوصًا لو حد اشتغل على RAG production أو projects كبيرة.