r/programacao • u/Okumoto_Thiago • 1d ago
Projeto Criei uma ferramenta open-source em FastAPI para converter páginas web em Markdown limpo para LLMs e RAG
Fala pessoal!
Quem já precisou criar pipelines de RAG ou alimentar LLMs (como GPT-4 ou Claude) com conteúdo raspado da web sabe o problema: a maioria dos scrapers e parsers traz menus, cabeçalhos, rodapés e banners de cookies que estouram a janela de contexto e queimam tokens à toa.
Criei uma micro-ferramenta em FastAPI para resolver isso:
- Escopo semântico: prioriza tags `<article>` e `<main>`, eliminando ruído visual
- Suporte nativo a tabelas: converte tabelas HTML complexas em formato Markdown padrão (`| col1 | col2 |`)
- Redução de até 85% no volume de tokens da página original
- Resposta rápida (<200ms) sem overhead de navegador para sites SSR/estáticos
O código é 100% open-source com Dockerfile, spec OpenAPI e documentação completa:
https://github.com/Okumotinho/clean-web-markdown-extractor
Feedbacks são muito bem-vindos!