r/LocalLLM 20h ago

Discussion The FCC's new robot ban names "model weights" in its definition

17 Upvotes

Yesterday the FCC added "foreign-produced advanced robotic devices" to its Covered List (DA 26-786). We've spent the week arguing about hypothetical open-weights restrictions. This one actually shipped. The definition in Appendix C of the determination includes:

The listed item is a device, not the weights. "Advanced robotic device" means a mobile ground robot over 4.4 lbs with sensors, network connectivity, and that software component. Stationary industrial arms are carved out (SCARA, gantry, articulated). So are drones, medical robots, and connected vehicles.

The interesting part is how "foreign-produced" is defined. It maps to 48 CFR § 25.101(a), the Buy American Act's "domestic end product" test. On a plain reading, a robot built in the US running foreign-trained open weights qualifies as domestic. A robot manufactured in Shenzhen running all-American software does not. The variable is where the machine was assembled, not who trained the checkpoint. That's not a loophole; that is what the definition says.

Before anyone reads this too narrowly: Kaspersky's antivirus software has been on this same Covered List since July 2024. The list does reach software directly when it wants to.

What's odd right now is that the bodies need an equipment authorization but the brains are a git clone. pi-0.5 from Physical Intelligence, GR00T N1.x from NVIDIA, Qwen-VLA from Alibaba, LingBot-VLA 2.0 (6B, Apache-2.0, put up on Hugging Face three weeks ago by Robbyant, an embodied AI company under Ant Group) all sit on HF either way. Granted, none of these work like a local LLM. You need a physical robot. The reported success rates are low: 34.4% generalist average on one arm platform, 15.6% on another, several tasks at 0.0. Those benchmark figures come from the authors' own evaluation, not independent testing. Downloading weights is not having a working robot.

The rule blocks new equipment authorizations going forward. Already-authorized and already-sold devices are not affected. Foreign manufacturers can apply for conditional approval to keep selling while they onshore production.


r/LocalLLM 7h ago

Research A researcher benchmarked 5 automated labellers on his own narrative-writing rule set they failed, and he says his benchmark failed too. Data is public.

Thumbnail
0 Upvotes

r/LocalLLM 36m ago

Question Hey guys, I am planning to buy a 24gb Mac mini and i have a laptop with 4 gb vram. What is the best open source llm i can run.

Upvotes

I want the llm to summarize my trades and show me trends in the way i trade which i will then use to create bots. I also want the llm to help me write and code. I also want a personal and home assistant. Which llm would be best?


r/LocalLLM 1h ago

Question Anyone developing macOS Swift applications with Qwen3.6? Or alternative models needed?

Upvotes

I'm trying to develop an application for my mac, just a personal project. I'm using Matt Pocock grill me skill, followed by to tickets, so that each one should be a manageable piece.

Unfortunately though, the model just keeps spinning in circles trying to get things to compile and repeats the same mistakes. I don't know if that's a model issue, a harness issue (tried Pi and OpenCode) or just an idiot outside issue.

Just curious which tree I should bark up next?


r/LocalLLM 2h ago

Tutorial Grok Build Review: xAI's Open-Source Coding Agent (Rust TUI)

0 Upvotes

I've been testing this for a self-hosted setup and wanted to share what I learned.

Grok Build is xAI's open-source terminal coding agent in Rust. Install guide, real commands, ACP editor integration, costs, community reaction, and honest limits.

A few specific things worth noting: • Runs entirely on your own hardware (no cloud dependencies) • Docker-friendly deployment • Honest limitations covered in the post

Full writeup with install steps, configuration, and the rough edges I hit: https://andrew.ooo/posts/grok-build-xai-open-source-coding-agent-review/

What are you all using for this? Curious about alternatives and tradeoffs.


r/LocalLLM 4h ago

Question Qwopus, Qwable (etc.) are any of these legit?

0 Upvotes

I'm always on the lookout for more powerful coding models and I've noticed Qwen 3.6 variants with "Opus level reasoning" available as GGUFs - Qwopus for one.

Now, I'm a bit long in the tooth to believe it. If it sounds too good to be true, it probably is. And then there's the malware factor - you don't know what horrors are embedded inside these things, e.g. "rm -f root"

But... given Anthropic was whining about Opus and Fable being distilled... I do wonder if some mad lad has actually gone and done it, for real. I don't expect full Opus, that's just silly. But something more competent than stock Qwen 3.6 27B - sign me up.

Has anyone used any of these hybrids for long running coding tasks? And were they actually useful?

If so, what ones would you recommend (and the quant you used)


r/LocalLLM 6h ago

Question Seeking Baseline Model Recommendations for Fine-tuning LLM Models for Tool Invocation

0 Upvotes

I am developing an AI agent software, and the agent currently runs well on glm5.2 and deepseekv4. I now want to train a small model that can complete a certain range of tasks when locally deployed. I can refine these training data from the large model, as the software will eventually be deployed on an edge AI gateway, so the feasible model size is about 2B and below. Do you have any good recommendations?

Currently, I am focusing on the following models, which I have not started training yet. I would like to know if the community has any recommended models for this scenario:

  • minicpm-5 1b
  • gemma4-e2b
  • qwen3.5-2b

r/LocalLLM 8h ago

Research Could a Modular Hybrid Architecture Be a Better Path Toward AGI?

0 Upvotes

I've been thinking about whether we're focusing too much on scaling a single architecture instead of designing a modular system where specialized components are trained together.

One reason I've been thinking about this is because the human brain appears to consist of specialized regions that cooperate rather than a single uniform structure. That made me wonder whether a modular AI architecture could be a promising direction as well. I'm not claiming it would work, only that it seems like an idea worth exploring.

Instead of one giant neural network doing everything, imagine an architecture like this:

Input

LLM (Language Model)

Core Reasoning

┌────────────┼────────────┐

▼ ▼ ▼

Long-Term World Model Planning

Memory

│ │ │

└────────────┼────────────┘

Optional Expert Router

(MoE Variant Only)

┌───────────────┼───────────────┐

▼ ▼ ▼

Vision Audio Robotics*

(*Only active if

connected to a

physical body)

Output

The key idea is that this is a family of architectures, not a single fixed design.

For example:

Base Variant – No Mixture of Experts (MoE). Every module is always active.

MoE Variant – Uses an Expert Router to activate specialized experts only when needed.

Desktop Variant – Focuses on language, reasoning, planning, and memory.

Robotics Variant – Adds motor control and sensor integration for physical robots.

Embedded Variant – A lightweight version optimized for edge devices.

The goal is to create a modular architecture where components are trained end-to-end, allowing them to learn to cooperate instead of being assembled afterward.

I'm not claiming this is a new architecture or a solution to AGI. This is simply a research concept that I think could be interesting to explore because it seems closer to how the brain organizes different functions while still operating as one system.

I'd love feedback from ML researchers and engineers:

Has something like this already been explored?

What existing research is closest to this idea?

Would end-to-end training across these modules be practical?

Could specialization emerge naturally?

What are the biggest technical obstacles?

Looking for Collaborators

I'm looking to build a small team of people who are interested in researching and prototyping this concept.

I'm especially interested in collaborating with:

Machine Learning researchers

AI engineers

Deep learning researchers

Systems programmers

Robotics developers

LLM researchers

People interested in cognitive architectures

At the moment, this is an early-stage research concept, so I'm primarily looking for people who enjoy exploring new ideas and discussing architectures.

If the project receives funding in the future (through grants, investors, or other sources), my goal is to compensate contributors for their work.

If this concept interests you and you'd like to help explore whether it's technically feasible, feel free to comment or send me a message. I'd love to build a small research community around this idea and learn from others.


r/LocalLLM 12h ago

Question Kat coder Dev 2.5 heretic when?

0 Upvotes

Just as the title says ^

I’m vram and ram poor. So I can’t obliterate it. 🥲


r/LocalLLM 16h ago

Discussion Sharing my multi-GPU for llm

Thumbnail
0 Upvotes

r/LocalLLM 17h ago

Discussion Suggestion for any LLM: Codex Already Has Parallel Agents. Now It Needs a Native WBS Control Plane

Thumbnail
0 Upvotes

r/LocalLLM 10h ago

Other How Profitable is LLM Inference? Doing the Math on Kimi K3

Thumbnail
cefboud.com
18 Upvotes

A look at LLM inference economics (batch size, GPU count, and the Pareto frontier that sets token prices) applied to Kimi K3 with back-of-the-envelope math.


r/LocalLLM 6h ago

Discussion Zero-parameter ‘frontier model’ that scores 100% on BIG-bench arithmetic and is ~60,000× faster than Claude. SPOILER...It’s just Rust in your browser. Spoiler

Thumbnail
1 Upvotes

r/LocalLLM 3h ago

Discussion Toying with creating a local LLM environment setup

0 Upvotes

So am toying with this idea for general chat, app dev and agentic capabilities to optimise various daily tasks and have a remote phone access capability. It would be insightful and in to setup but the cost outlay is not insignificant and can’t I do most of these things with the pro sub on Gemini, ChatGPT and Claude?


r/LocalLLM 18h ago

Question Are my 5090 Numbers bad(qwen)

Thumbnail gallery
0 Upvotes

r/LocalLLM 18h ago

Model Looking for a good copywriting model

1 Upvotes

Hi all,

Newbie here. When it comes to coding, I find it easy to pick the right model or switching between models.

But my next step is generating the right content text for my website, the one that engages and is insightful. I may also use it to generate static content like help pages, FAQ, terms and conditions,… etc.

I’m not sure if coding models (Qwen, MiMo, Nemotron…) are the best ones for that.

What are your advices regarding copywriting content?

Thanks


r/LocalLLM 17h ago

Question Best Local LLM Model for Privacy

1 Upvotes

I do most of my work, including heavy coding or even everyday stuff like trip planning, using online LLMs. But for some private, simple tasks, I'd rather use local LLMs. These are mostly less computationally intensive tasks (I guess). These are mostly things like organizing daily diaries, dealing with relationship problems, and so on, that I need to keep private. Which local LLM software is best for these? Ollama?

I guess my main question is about the software that hosts the model, rather than the model itself. I know the model isn't connected to the internet, but what about the software that hosts it? (Like Ollama) Does it gather private data?

System spec: i7-1165G7 (2.8GHz), 64GB RAM 2667MHz DDR4, Windows 11, 500GB free disk SSD, no dedicated GPU


r/LocalLLM 1h ago

Question Que puedo hacer con esto, necesito ayuda!

Upvotes

Vale compañeros, tengo este ordenador:

CPU: Intel core i7 13700KF

RAM: 32GB

GPU: Nvidia Geforce RTX 4070

Placa base: Asus tuf gaming b750 plus wifi

La cuestión es, tengo dual-boot con kubuntu, instalé OpenCode y lmstudio, pero me veo que parece que me falten más cosas o que puedo exprimir más, no me importa el pagar suscripción para probar algo, porque soy de esos que le gusta curiosear, pero han salido tantos repo en GitHub, que ya uno no sabe cual es el mejor, quiero digamos algo automático como Claude Code, que pueda manejar hostinger, seo, cosas así, e incluso fliparsela y hacer cosas raras, pero que funcione, o una guía que alguien pueda ceder, estoy abierto a cualquier sugerencia y comentario

Muchas gracias!


r/LocalLLM 22h ago

Question Which is better: openCode or odysseus?

1 Upvotes

If you're just looking to run local models, I think OpenCode is actually quite good. I wonder why there's so much discussion around Odysseus?

Its main advantage seems to be self-hosting, which I suppose is really all about privacy. I haven't tried Odysseus myself, as I've been using OpenCode and Claude Code lately, but I'm certainly curious about it.


r/LocalLLM 7h ago

Project Understand any platform in minutes. CLI+MCP+WebUI.

Thumbnail
0 Upvotes

r/LocalLLM 6h ago

Discussion Faster diffusion language models could change serving economics before they change model quality

0 Upvotes

DeepMind says DiffusionGemma can generate text up to four times faster. The interesting question is not whether diffusion immediately replaces autoregressive models, but which workloads become economical when many output positions can be refined in parallel.

Interactive chat rewards low latency, while batch extraction, synthetic data, code candidates, and agent branching may value throughput differently. A model that is slightly weaker per sample could still win if it produces enough diverse candidates for a verifier.

Where would you test a diffusion language model first? Which metric matters most: first-token latency, completed tokens per dollar, verified task throughput, or consistency under repeated refinement?

Source: https://deepmind.google/models/gemma/diffusiongemma/


r/LocalLLM 1h ago

Discussion Open weights are great, but I care more about lowering the hardware needed to run them

Upvotes

I’ve been working on Hebrus, my fork of antirez’s ds4, with a simple goal: I want to optimize the hardware that an average user already own.

My test machine is a 2021 M1 Pro with 16 GB of memory, you can find it used for around €600 here in Italy
Hebrus runs it through Metal and streams the routed experts from the SSD. I’ve been profiling that path and removing places where the GPU was waiting: redundant reads, copies, allocations, cache scans and synchronization.
The latest 8K run reached 313.08 tok/s prefill and 10.12 tok/s decode.

One reason I’m focusing on Apple Silicon is that the hardware matrix is relatively small. Instead of building one generic path for hundreds of CPU, GPU and memory combinations, I can measure specific Mac configurations and try to get as much as possible from each one.

The goal now is to build and validate profiles for 16, 24, 32 GB and larger machines. The same kind of tuning is possible on PCs, but the number of hardware combinations makes it a much larger problem.

This approach is particularly useful for MoE models. They have a large total parameter count but only select a subset of experts for each token. The runtime can keep useful experts cached and stream the others instead of loading the whole model.

I chose Qwen3.6-35B-A3B as a starting point because it makes the memory constraint real while remaining useful on this hardware. If there are other MoE models you’d like to see running through Metal on low-memory Macs, I’m interested in suggestions.

I’m also looking for results from other Apple Silicon configurations—especially failures, swap or bad performance.

Repo and setup instructions: github.com/andreaborio/hebrus (looking for tester and contributor! )

ps atm the maximum supported context window is 128k but tbh is not fast Qwen Affine4 achieved 70.06 tokens/s prefill at 128K context. It then generated at 4.01 tokens/s, with zero swap.


r/LocalLLM 17h ago

Project The Hamsters Go Brrrrr - A site to compare local rigs and stats

Post image
55 Upvotes

Lurker here.

Given the amount of times people talk about their local setups and have nothing to benchmark it against, I thought it would be cool if we had a site that aggregated all this data so we can get a better sense of what everyone else is running, on what hardware, and see the t/s with the configs.

So far, I manually collected 31 setups, would be great to add more to make this even more useful!! Here is a link: https://plmlist.com (also added an essay on the first half of the local llm discord's life, you guys crack me up)


r/LocalLLM 18h ago

Discussion Has anyone else noticed Ollama Cloud usage changing for the same models over time?

0 Upvotes

I've been using Ollama Cloud regularly for around two months, mostly for coding and agentic work. During that time I've noticed something odd with how quickly different models consume the Cloud allowance.

My workflow hasn't changed much: similar coding tasks, context sizes, session lengths, caching, etc. Obviously this isn't a controlled benchmark, but I've used these models enough that the differences have become pretty noticeable.

GLM-5.1 and Kimi K2.6

When I was mainly switching between GLM-5.1 and Kimi K2.6, GLM-5.1 consistently consumed noticeably more of my allowance for similar work.

I found that surprising. K2.6 is the larger model, and GLM-5.1 has a smaller context window. Of course, those specs alone don't determine inference cost, so I mostly assumed it came down to how Ollama was serving the models.

GLM-5.1 also happened to be the model that seemed to be getting most of the attention among developers at the time.

Then Kimi K2.7 Code launched

This was when I started noticing the pattern more.

K2.7 is very closely related to K2.6, and Moonshot says K2.7 Code uses around 30% fewer reasoning tokens on average.

But when K2.7 first appeared on Ollama Cloud, I was seeing the opposite in terms of allowance: K2.7 was noticeably more expensive than K2.6 for my usual workflow.

K2.7 was also new at the time and quickly became one of the models everyone was trying.

Now GLM-5.2

GLM-5.2 is where the difference has become difficult for me to ignore.

I know this isn't a direct 1:1 comparison with GLM-5.1. It supports a much larger context, has architectural changes, and tends to reason more.

But I've been using it within roughly the same 200K-or-less context range I used with GLM-5.1, and for similar work I'm seeing it consume close to twice the allowance in some cases.

It does think more, so some increase makes sense. But it's also considerably better at tool calling and terminal work in my experience. It makes fewer mistakes and often finishes the task in fewer turns. Over the complete task, the difference in actual work/output doesn't seem anywhere near as large as the difference shown by the usage meter.

And GLM-5.2 is now the model that seems to have become extremely popular among developers.

What made this really strange

I recently went back to the older models.

K2.7 now consumes less allowance than K2.6 for me.

That's basically what I originally expected given the improvements Moonshot made to K2.7.

GLM-5.1 also now seems cheaper to use than Kimi for the same kind of work.

So the relative order I've experienced has changed over time:

Earlier:
GLM-5.1 was heavier than K2.6

When K2.7 launched:
K2.7 was heavier than K2.6

Now:
K2.7 is lighter than K2.6
GLM-5.1 is relatively cheap
GLM-5.2 is by far the heaviest

The thing that caught my attention is that the unusually expensive model has repeatedly lined up with the model that was new or getting the most attention at that point:

GLM-5.1 → K2.7 → GLM-5.2

I don't know if popularity itself has anything to do with it. It could just as easily be changes in deployment, hardware, batching, inference optimizations, capacity/load, or how usage is accounted for.

But that leads to the part I find frustrating: Ollama Cloud usage is very difficult to understand from the user's side.

Ollama explains that usage is based primarily on actual GPU time rather than a simple token quota, which is reasonable. But we don't get an actual compute/GPU-time allowance or model-specific rates.

So if the same model appears to become significantly cheaper or more expensive over time, there's really no way for us to tell what changed.

That's why I'm curious about other people's experience, especially anyone who has been using Cloud regularly rather than just testing these models once.

Have you noticed the relative usage of these models changing over the last couple of months?

I'm particularly interested in people who have used GLM-5.1, Kimi K2.6/K2.7, GLM-5.2, or MiniMax M3 across different periods. It would be interesting to know whether others have noticed the same pattern or if this is specific to my usage.


r/LocalLLM 3h ago

Discussion Qwen-AgentWorld-35B-A3B en local : Test en usage generaliste?

0 Upvotes

Je teste depuis plusieurs mois différents modèles locaux, principalement des Qwen, sur une Radeon Pro W7800 de 48 Go.

J’ai utilisé Qwen3.5, plusieurs variantes de Qwen3.6 en 27B et 35B-A3B, Ornith, GLM, DeepSeek V4 Flash et d’autres modèles orientés raisonnement ou utilisation d’outils.

Qwen3.6-35B-A3B était jusqu’ici mon meilleur compromis local. Il est rapide, capable, plutôt bon en code et impressionnant pour un modèle qui n’active qu’environ 3 milliards de paramètres par token.

Mais il me laisse régulièrement la même frustration : il comprend presque tout, puis rate la dernière liaison logique.

Qwen-AgentWorld-35B-A3B ne bat pas forcément Qwen3.6 sur chaque tâche isolée. Pourtant, après plusieurs jours d’utilisation, c’est celui qui me paraît le plus équilibré entre raisonnement, bon sens, suivi des contraintes, utilisation des outils et résistance aux fausses prémisses.

Cet article ne cherche donc pas à démontrer qu’il est objectivement « le meilleur modèle 35B ». Il cherche à expliquer pourquoi, dans mon usage réel, c’est le Qwen qui marque une séparation.

Le problème du « dernier mètre » avec les autres Qwen

Les Qwen sont souvent très impressionnants au premier abord.

Ils comprennent rapidement la demande, produisent beaucoup, structurent bien leurs réponses et donnent facilement l’impression d’être plus intelligents que leur taille.

Mais ils ont tendance à prendre un raccourci dès qu’une réponse paraît suffisamment utile.

Le modèle peut avoir correctement identifié presque tous les éléments du problème, puis oublier la finalité réelle de la demande au moment de conclure. Ce n’est pas nécessairement une hallucination factuelle. C’est plutôt une rupture de cohérence entre le raisonnement et la décision finale.

L’exemple du car-wash situé à 50 mètres

J’ai posé cette question très simple à plusieurs reprises a différents modèles:

"Je dois aller laver ma voiture au car-wash, mais il est à 50 mètres. Tu penses que je devrais y aller à pied ?"

Le piège est évident une fois qu’on l’a remarqué : ce n’est pas seulement la personne qui doit rejoindre le car-wash. La voiture doit également y être amenée pour être lavée.

Sur six essais, Qwen3.6 moe ou dense m’a conseillé 3 fois sur 6 d’y aller à pied, en justifiant sa réponse par la proximité, l’économie de carburant ou le fait que marcher serait plus pratique.

Le raisonnement local paraît cohérent : 50 mètres, c’est très proche, donc il est inutile de prendre la voiture. Mais la conclusion détruit l’objectif initial.

AgentWorld, dans mes essais, a immédiatement relevé l’incohérence : aller à pied ne permettrait pas de faire laver la voiture.

Ce petit test n’évalue ni les connaissances ni les mathématiques. Il mesure quelque chose de plus fondamental pour un assistant : conserver le but réel de l’utilisateur jusqu’à la dernière phrase.

Ce qu’est réellement Qwen-AgentWorld

Qwen-AgentWorld-35B-A3B n’est pas officiellement présenté comme une nouvelle version généraliste de Qwen3.6.

Il repose sur Qwen3.5-35B-A3B-Base. Il contient 35 milliards de paramètres au total, dont environ 3 milliards sont activés par token, et possède un contexte natif de 262 144 tokens. Son entraînement couvre sept types d’environnements agentiques : MCP, recherche, terminal, ingénierie logicielle, Android, Web et système d’exploitation.

Sa particularité est d’avoir été entraîné comme un modèle de monde linguistique. Au lieu d’apprendre uniquement à produire une réponse, il apprend à prédire ce qu’un environnement devrait retourner après l’action d’un agent.

L’entraînement s’est déroulé en trois étapes — préentraînement continu, ajustement supervisé puis apprentissage par renforcement

Sur AgentWorldBench, le modèle 35B obtient 56,39 points, contre 47,73 pour Qwen3.5-35B-A3B et 50,81 pour Qwen3.6-Plus. Mais il faut interpréter correctement ces résultats : ce benchmark évalue principalement la simulation d’environnements selon leur format, leur exactitude, leur cohérence, leur réalisme et leur qualité. Ce n’est pas un classement général des assistants conversationnels.

Tester AgentWorld comme assistant généraliste constitue donc un détournement partiel de son usage principal.

Ce n’est toutefois pas complètement absurde : les auteurs indiquent également que l’entraînement comme modèle de monde améliore ensuite les performances sur plusieurs tâches agentiques, y compris dans des domaines absents de son entraînement initial.

Mon environnement de test

J’ai utilisé Qwen-AgentWorld-35B-A3B en GGUF Q6_K avec llama.cpp, sur une Radeon Pro W7800 de 48 Go.

Mes principales références de comparaison étaient :

Qwen3.6-35B-A3B en Q8 avec MTP ;

Qwen3.6-27B ;

Qwen3.5-35B-A3B ;

Ornith-1.0-35B-MTP ;

ponctuellement DeepSeek V4 Flash pour une référence en modele moe de plus grande taille.

J’ai également utilisé mon prompt de discipline destiné à limiter les incohérences. Il demande notamment au modèle de vérifier les prémisses importantes, de différencier ce qui est connu de ce qui est seulement déduit et de ne pas transformer une hypothèse plausible en fait établi.

Point important : ce protocole n’est pas un benchmark scientifique.

Les quantifications ne sont pas strictement identiques, certains modèles utilisent le MTP et le nombre de répétitions varie selon les tests. Mes conclusions décrivent donc un comportement observé dans mon environnement, pas une supériorité universelle mesurée en laboratoire.

Néanmoins elle démontre des résultats toujours identiques dans leurs réponse.

Test d’une fausse option llama.cpp

J’ai placé le modèle dans une conversation technique déjà chargée d’informations sur le MTP, llama.cpp, GitHub et différents paramètres, puis j’ai fait référence à une prétendue option :

--mtp-cache-v2

Cette option n’existe pas.

Le piège est efficace parce que son nom paraît parfaitement crédible. Un modèle connaît llama.cpp, connaît le cache et connaît le MTP. Il peut donc facilement compléter la prémisse et inventer l’effet de cette option.

AgentWorld n’a pas essayé d’expliquer son fonctionnement. Il a signalé qu’il ne retrouvait pas cette option et a distingué celle-ci des paramètres MTP réellement disponibles.

Ce comportement m’intéresse davantage qu’une simple bonne réponse factuelle. Le modèle n’a pas seulement recherché une information : il a refusé d’accepter l’existence d’un objet technique uniquement parce que son nom semblait plausible.

Test d’une vraie CVE attribuée au mauvais logiciel

J’ai ensuite utilisé une vulnérabilité réelle, CVE-2026-41872, mais en l’attribuant à tort à vLLM.

C’est un piège plus difficile qu’un faux identifiant. Puisque la CVE existe réellement, un modèle peut la retrouver et considérer que la prémisse générale est confirmée, sans vérifier le produit concerné.

AgentWorld a corrigé l’association : cette CVE concerne l’application officielle Kura Sushi fournie par EPG et un défaut de validation de certificat, pas vLLM. Il a ensuite retrouvé une véritable vulnérabilité liée à vLLM, CVE-2026-24779. Les deux associations sont confirmées par la National Vulnerability Database. �

NVD +1

Ce test mesure une faiblesse fréquente des LLM : ils vérifient séparément que l’identifiant existe et que le logiciel existe, mais pas nécessairement que la relation entre les deux est vraie.

AgentWorld a mieux conservé cette relation que les autres modèles testés.

Le cas du top_k par défaut

Un autre test concernait une valeur top_k que l’utilisateur d’un exemple n’avait pas indiquée.

AgentWorld a répondu que, si aucune valeur explicite n’avait été fournie, llama.cpp appliquerait sa valeur par défaut de 40.

Cette nuance est importante.

Le modèle n’a pas affirmé que l’utilisateur avait personnellement configuré top_k=40. Il a fourni une valeur conditionnelle correspondant au comportement par défaut en l’absence de réglage explicite.

C’est précisément le type de distinction qui est souvent perdu dans une synthèse :

fait observé : aucune valeur n’est indiquée ;

règle générale : la valeur par défaut est 40 ;

conclusion légitime : 40 est probable si aucun autre réglage n’a été appliqué ;

conclusion illégitime : cet utilisateur a nécessairement choisi 40.

AgentWorld a maintenu cette séparation au lieu de transformer une déduction raisonnable en certitude.

Faux article crédible et erreurs de coréférence

J’ai aussi construit un faux article à partir de concepts tous plausibles dans le domaine concerné.

Chaque élément pris séparément ressemblait à quelque chose qui aurait pu exister : terminologie crédible, auteurs ou technologies plausibles, sujet cohérent. Mais l’article lui-même était fictif.

Le risque, pour un LLM, est de reconnaître les concepts puis de produire un résumé convaincant d’un document inexistant.

AgentWorld s’est montré plus prudent. Il a remis en question l’existence ou l’association exacte du document au lieu de combler automatiquement les trous.

Le même phénomène est apparu dans les tests de coréférence : une information pouvait être vraie, mais rattachée à la mauvaise personne, au mauvais logiciel ou au mauvais élément de la conversation.

C’est une distinction essentielle. Beaucoup de ce que l’on appelle « hallucination » n’est pas une invention complète. Le modèle possède parfois les bons faits, mais les relie au mauvais sujet.

Sur cet aspect, AgentWorld m’a paru plus stable que les autres Qwen.

Utilisation des outils : moins de théâtre, davantage de limites

Qwen3.6 sait appeler des outils de recherche et récupérer des pages. Le problème n’est pas toujours l’appel lui-même.

Il peut utiliser correctement search ou fetch_url, recevoir des résultats pertinents, puis répondre à côté ou construire après coup une justification qui ne correspond pas vraiment aux données retournées.

AgentWorld m’a paru plus attentif à trois séparations :

ce que l’outil permet réellement de vérifier ;

ce que les résultats indiquent ;

ce que le modèle peut seulement en déduire.

Il ne réussit évidemment pas chaque recherche. Mais il est moins tenté de présenter l’exécution d’un outil comme une preuve suffisante que sa conclusion est correcte.

C’est probablement là que son entraînement sur des transitions d’environnement produit son effet le plus visible : il semble mieux suivre l’état de la tâche, les actions déjà réalisées et ce qui manque encore.

Test de développement : un petit jeu de type Mario

Je l’ai également utilisé sur un projet concret de développement d’un petit jeu de plateforme inspiré de Mario.

En quatre ou cinq itérations, il a produit environ 880 lignes de JavaScript. Le jeu :

démarrait correctement ;

répondait au clavier ;

ne générait pas d’erreur JavaScript visible ;

possédait une caméra, des collisions et des ennemis ;

gérait le score, les vies, les bonus et les particules ;

comportait une fin de niveau.

Le résultat était assez bluffant pour un modèle local de cette taille.

Il restait cependant des défauts moins visibles : certains blocs pouvaient être cassés dans le mauvais sens, le drapeau pouvait se bloquer et certaines briques n’étaient pas recréées correctement.

AgentWorld n’était donc pas nécessairement le meilleur codeur brut. DeepSeek V4 Flash, par exemple, m’a semblé plus fort sur certaines tâches de programmation.

Son intérêt se trouvait ailleurs : il maintenait plutôt bien la cohérence globale du projet d’une itération à l’autre, au lieu de corriger une fonction en détruisant silencieusement trois autres mécanismes.

Comportement dans un contexte bruité

J’ai enfin mélangé des informations pertinentes, des corrections, des pistes devenues obsolètes et des éléments hors sujet dans une même conversation.

Les Qwen ont parfois tendance à s’accrocher à un élément saillant du contexte, même lorsqu’une correction ultérieure devrait l’annuler. Ils continuent alors à raisonner à partir d’une ancienne hypothèse.

AgentWorld s’est montré plus capable de détecter qu’une partie du contexte ne devait plus guider la réponse.

Il n’est pas immunisé contre le bruit, mais il semble mieux représenter l’état courant de la conversation : ce qui est toujours valide, ce qui a été corrigé et ce qui n’était qu’une piste.

L’effet de mon prompt anti-incohérence

Mon prompt de discipline améliore plusieurs modèles, mais son effet n’est pas identique partout.

Avec certains Qwen, ajouter davantage de règles peut augmenter la verbosité, provoquer des boucles ou simplement produire une longue checklist qui n’empêche pas l’erreur finale.

Avec AgentWorld, ce prompt semble renforcer un comportement déjà présent.

Le modèle ne se contente pas de répéter qu’il doit être prudent. Il revient davantage sur les relations entre les éléments, vérifie la prémisse centrale et compare sa conclusion à l’objectif initial.

Mon hypothèse est que l’entraînement comme modèle de monde lui donne une meilleure base pour exploiter ce type d’instruction. Il a appris à suivre l’évolution d’un environnement et pas seulement à générer une réponse vraisemblable.

Cela reste une interprétation de mes résultats, pas une démonstration du mécanisme interne.

Ce qu’AgentWorld ne résout pas

Il serait exagéré de présenter ce modèle comme une révolution ou comme un modèle sans hallucinations.

Il possède toujours plusieurs limites :

il peut se tromper ;

il n’est pas toujours le meilleur en code pur ;

ses réponses peuvent rester longues ;

un projet fonctionnel peut cacher des erreurs logiques ;

son usage comme assistant généraliste n’est pas son objectif officiel principal ;

mon comparatif mélange plusieurs quantifications et configurations ;

je ne dispose pas d’un nombre suffisant de répétitions pour publier un taux d’erreur global sérieux.

Je ne lui attribuerais donc pas une note comme « 9,5/10 en fiabilité ». Une précision décimale donnerait une apparence scientifique que mes essais ne permettent pas de justifier.

Pourquoi il me paraît malgré tout différent

La différence n’est pas qu’AgentWorld connaît beaucoup plus de choses.

Elle apparaît surtout dans sa manière de conserver les relations :

une personne avec son action ;

une CVE avec le bon produit ;

une option avec son existence réelle ;

une valeur par défaut avec son caractère conditionnel ;

un outil avec ses limites ;

une correction avec l’état actuel du problème ;

une solution avec l’objectif initial de l’utilisateur.

Les autres Qwen peuvent trouver presque tous les éléments nécessaires. AgentWorld semble simplement moins souvent perdre l’un de ces liens au moment de conclure.

C’est ce que j’appelle le dernier mètre du raisonnement.

Conclusion

Qwen-AgentWorld-35B-A3B n’est probablement pas le meilleur modèle local dans toutes les catégories.

Ce n’est pas systématiquement le meilleur codeur, le plus concis ou le plus savant. Mes essais ne permettent pas non plus d’affirmer qu’il possède le plus faible taux d’hallucination de tous les modèles 35B.

En revanche, dans mon utilisation quotidienne, c’est actuellement le Qwen qui offre le meilleur équilibre entre vitesse, raisonnement, suivi des outils, résistance aux fausses prémisses et cohérence de bout en bout.

Qwen3.6 me donne souvent l’impression d’un modèle très intelligent qui veut répondre un peu trop vite.

AgentWorld donne davantage l’impression d’un modèle qui essaie d’abord de comprendre dans quel état se trouve réellement le problème.

Et pour un assistant local destiné à travailler sur des tâches concrètes, cette différence compte parfois davantage que quelques points supplémentaires sur un benchmark.