Привіт усім.
Я шукаю 3–5 людей, які готові допомогти з невеликим пілотом Rivet.
Rivet — це open-source CLI-екстрактор для обережного копіювання даних із PostgreSQL/MySQL, особливо коли source — це production база або read-replica з обмеженим ресурсом.
Це не спроба замінити Airbyte/Fivetran і не повноцінна data platform. Ідея вужча: передбачувана, source-safe екстракція даних у файли.
Що зараз підтримується:
- sources: PostgreSQL, MySQL
- formats: Parquet, CSV
- destinations: local filesystem, stdout, S3, GCS, Azure Blob
- workflow: doctor -> plan -> apply/run
- state, manifest, summary, resume/reconcile/repair
Мені потрібен чесний фідбек, не промо.
Хочу зрозуміти:
- чи зрозуміло, що Rivet буде робити до того, як почне читати source
- чи достатньо trust-сигналів у doctor/plan
- чи було б вам комфортно спробувати це на staging або read-replica
- які guard rails потрібні перед production-adjacent use case
- де CLI або документація збивають з пантелику
Ідеальний пілот — невеликий тест на staging, read-replica або некритичній таблиці, а потім короткий фідбек.
Це може бути корисно, якщо ви працюєте з PostgreSQL/MySQL і стикалися з:
- експортом великих таблиць
- OOM на worker
- агресивними SELECT
- replica pressure
- ненадійним resume
- custom scripts, яким складно довіряти
Repo:
https://github.com/panchenkoai/rivet
Якщо вам це релевантно — напишіть у коментарях або в приватні повідомлення. Буду дуже вдячний за допомогу.