Si fida dei consigli dell'IA e distrugge 10 ettari di raccolto: la storia di un agricoltore
Un agricoltore cinese di 67 anni ha seguito le indicazioni di un chatbot per eliminare erbacce e parassiti. Il risultato: quasi 10 ettari di giovani piante di sesamo distrutti.
- Un agricoltore cinese ha seguito i consigli di un chatbot per trattare il sesamo, distruggendo quasi 10 ettari di giovani piante.
- L'IA aveva suggerito erbicidi inadatti alla coltivazione e l'uomo li ha spruzzati sull'intero campo senza controlli specialistici.
- Il caso evidenzia quanto i chatbot possano sembrare affidabili pur sbagliando, soprattutto quando sono in gioco sostanze e decisioni delicate.
Un agricoltore cinese ha seguito le indicazioni di un chatbot per eliminare erbacce e parassiti. Il risultato: quasi 10 ettari di giovani piante di sesamo distrutti.
- Quando l'IA sembra meritare fiducia
- L'errore che ha distrutto il sesamo
- Perché fidarsi troppo dei chatbot è rischioso
Quando l’IA sembra meritare fiducia
La vicenda arriva da Chuzhou, in Cina, dove un agricoltore di 67 anni aveva iniziato a usare un’applicazione di intelligenza artificiale per ottenere suggerimenti sul lavoro nei campi.
All’inizio era diffidente, poi le risposte ricevute nei mesi precedenti si erano rivelate utili. Proprio quella sequenza di consigli azzeccati avrebbe finito per abbassare la soglia di attenzione.
Per combattere erbacce e parassiti, il chatbot gli avrebbe suggerito una combinazione di prodotti che comprendeva un erbicida indicato nella fonte come “flusulfasulfaether”, insieme ad altre sostanze.
L’agricoltore ha seguito le istruzioni senza verificare prima se il trattamento fosse compatibile con la coltivazione di sesamo e senza chiedere un controllo a una fonte specializzata.
La mattina successiva, il danno era già evidente: circa 24,7 acri di piantine, poco meno di 10 ettari di raccolto, erano morte. A quel punto l’uomo è tornato dalla stessa IA per capire che cosa fosse successo.
L’errore che ha distrutto il sesamo
Secondo la spiegazione fornita successivamente dal chatbot, il problema era proprio uno degli erbicidi consigliati.
La sostanza viene utilizzata soprattutto contro le infestanti a foglia larga nei campi di soia. Il sesamo, però, appartiene a sua volta alle piante a foglia larga e può quindi essere colpito dal trattamento.
C’era anche un secondo elemento decisivo. L’IA avrebbe chiarito soltanto dopo il danno che il prodotto andava applicato direttamente sulle aree interessate, non distribuito in modo uniforme su tutto il terreno. L’agricoltore, invece, lo aveva spruzzato sull’intero campo.
L’uomo ha contestato al sistema di non averlo avvertito dei rischi prima dell’applicazione.
Il punto, però, è precisamente quello che gli stessi chatbot tendono a dichiarare: possono produrre risposte errate, fraintendere dettagli o basarsi su informazioni incomplete.
Anche ChatGPT avvisa gli utenti che può commettere errori e che le informazioni importanti devono essere controllate.
Il caso mostra così uno dei limiti più concreti dei consigli dell’IA: una risposta può apparire plausibile, dettagliata e persino coerente con indicazioni precedenti, ma non per questo è automaticamente sicura.
Quando il suggerimento riguarda sostanze chimiche, salute, sicurezza o attività professionali con conseguenze economiche, la verifica esterna non è un passaggio ornamentale.
Perché fidarsi troppo dei chatbot è rischioso
L’aspetto più singolare della storia è proprio la fiducia costruita nel tempo.
L’agricoltore non aveva accolto subito l’IA generativa come una fonte affidabile: aveva cambiato idea dopo una serie di risposte utili. È un meccanismo comprensibile, perché l’errore arriva quando lo strumento ha già dimostrato di saper essere convincente.
Va ricordato anche un altro episodio, avvenuto l’anno precedente, in cui un uomo di 60 anni aveva chiesto a ChatGPT una possibile alternativa al comune sale da cucina.
Tra le risposte era comparso il bromuro di sodio, sostanza utilizzabile in alcuni ambiti ma non come sostituto alimentare. L’uomo aveva poi sviluppato bromismo, cioè un’intossicazione cronica da bromuro, disturbo ormai poco comune.
I due episodi sono diversi, ma condividono lo stesso punto critico: l’IA può offrire informazioni utili senza possedere la capacità di garantire che siano adatte a un caso specifico.
Nel campo cinese, quella distanza tra un suggerimento plausibile e una verifica competente è costata quasi 10 ettari di sesamo.
