AI Companions for Mental Health: Regulatory Qualification Between Intended Use and Functional Reality. Comparative Remarks Between the EU and the US

Abstract

Il presente articolo esamina il quadro normativo relativo agli AI Companion nell’Unione Europea e negli Stati Uniti. Si conclude che, in entrambi gli ordinamenti, la destinazione d’uso dichiarata dal produttore costituisce un elemento decisivo ogniqualvolta sussistano dubbi sulla qualificazione di un dispositivo come dispositivo medico. Si sostiene che, in molti casi, tale criterio venga utilizzato per commercializzare prodotti come “semplici” beni di consumo, laddove essi richiederebbero invece una validazione clinica ai sensi delle normative sui dispositivi medici vigenti in entrambi i sistemi giuridici. La questione appare particolarmente evidente nel caso degli AI Companion – servizi basati (allo stato attuale) su modelli linguistici di grandi dimensioni (LLM) volti a offrire compagnia agli utenti – i quali, in genere, non vengono classificati come dispositivi medici. Il crescente numero di casi di suicidio, autolesionismo, depressione e dipendenza tra i giovani mette in luce i limiti del primato della destinazione d’uso dichiarata dal produttore ai fini della classificazione di un prodotto come dispositivo medico. Le autrici sostengono la necessità di una qualificazione funzionale della destinazione d’uso, ritenendo che l’attuale quadro normativo UE e statunitense non garantisca un livello di tutela e protezione sufficientemente elevato, né per i consumatori né per i pazienti.