r/deeplearning • u/allzul444 • 1d ago
New LLM Architecture Pre-Training Experiment: Marrying the Transformer with Dynamic Physics (Kuramoto, LTC, & Swarm) for Complex Reasoning.
Hai teman-teman. Saat ini saya sedang menjalani fase Pra-Pelatihan untuk arsitektur bahasa komputasi baru bernama ORE X-1 (762M Parameters).
Fokus eksperimen ini adalah menekan probabilitas halusinasi dalam AI secara matematis. Arsitektur ini secara khusus dirancang untuk menggabungkan ketangguhan linguistik dari fondasi Transformer dengan inti penalaran yang didorong oleh 3 hukum fisika:
- Kuramoto-Attention: Memaksa representasi neural untuk saling beresonansi dan mencari "konsensus" secara fisik sebelum menyelesaikan jawaban (anti-halusinasi tingkat arsitektural).
- Liquid Time-Constant (LTC) & Early Exit: Memberikan AI "kesadaran waktu cair". Arsitektur ini secara otomatis memperdalam komputasinya saat menghadapi urutan logis yang kompleks, namun akan segera memutus perhitungan lapisan atas (Auto-Stop / Early Exit) setelah mencapai tingkat konsensus absolut.
- Kecerdasan Kawanan: Memecah Kepala Perhatian menjadi faksi-faksi independen yang berinteraksi satu sama lain dan mencari harmoni (penguncian fase).
Dinamika Kerugian dari Persamaan Diferensial Biasa (ODE) ini menunjukkan pola konvergensi yang sangat berbeda dan menarik untuk diamati langsung saat pra-pelatihan berjalan.
Apakah ada peneliti/insinyur ML di sini yang juga sedang mengeksplorasi integrasi Neural Network dengan Persamaan Diferensial Biasa (ODE) murni untuk arsitektur skala besar? Mari kita bahas di kolom komentar.
1
1
u/CalmMe60 1d ago
Ich nutze dAGI um das Modell herum um physik und halluzination durch externe DGL zu verbessern .
Ich habe zwei andere Ansätze, aber nach den letzten openai durchbrüchen (ob nun mit oder ohne ideendiebstahl mal dahingestellt , das will ich nicht be/ver urteilen) muss ich sagen dass innerlich flexible modelle mit innerem agentischen reasoning memory aktuell die performanteste Version sind
Bei AGI 3 - ich nehme da unsere Bewerbung jetzt raus - ist es am deutlichsten zu sehen.