Solche Situationen sind so speziell und das Verhalten der Personen und Verkehrsteilnehmer ist so individuell, dass ich da keiner AI trauen würde, auch wenn sie mit tausenden solcher Situationen trainiert wurde(*). Im Chaos des Unerwarteten ist das menschliche Gesamtverständnis kaum nachzuahmen. Daher macht es durchaus Sinn für solch seltene Situation ein real menschliches "Backup" zu nutzen. Da muss die AI nur noch sicher melden können, dass sie den Durchblick verloren hat. Und wirtschaftlich ist das auch, sofern die AI nur selten darauf zurück greifen muss.
Ich möchte dir da in deinem Lösungsansatz widersprechen. Das Backup muss entsprechend der Situation ggfs. kurzfristig bereitstehen, das kann der Fahrer sein bzw. eine Leitstelle. Wäre es der Fahrer, dann haben wir kein FSD, weil der Fahrer eben nicht schlafen kann. Ein externes Backup muss ausreichend Kapazitäten vorhalten, aus wirtschaftlicher Sicht ist das Vorhalten möglicherweise nicht benötigter Ressourcen eben keine attraktive Aussicht (wir sind doch nicht im Kommunismus).
Dann müsste die AI noch erkennen, dass diese ihren Kompetenzbereich verlässt, es also um eine Ausnahmesituation handelt, für die sie nicht trainiert wurde. Hmm, das klingt nach einem ungelösten Problem in der Informatik, Gödel lässt grüßen.
Ich wage mal eine Vorhersage, wie das ganze Problem zu lösen ist: Wir brauchen KI-gerechte Verkehrswege. Strikte Trennung von Nicht-KI- und KI-gesteuerten Fahrzeugen. Eine Reduktion der Komplexität, wie z. B. keine Fußgänger oder Anwohner mehr an den Straßen, keine Bäume, keine Werbetafeln. Vielleicht sogar keine Verkehrsschilder mehr (man kann die aktuellen Informationen mit GPS und einer Datenbank viel einfacher und flexibler realisieren und Menschen haben sowieso keine Kontrolle).
Meiner Meinung nach wird eine Integration in die menschliche Gesellschaft immer unvollständig sein, daher muss der Faktor Mensch für ein funktionierendes technisches System ausgeschlossen werden. Daraus folgt, dass man sich erst für Autonomes Fahren entscheiden muss und in der Konsequenz die Umwelt entsprechend zu gestalten*.
Autonomes Fahren ist eine gesellschaftliche Entscheidung und sollte nicht von der Wirtschaft getrieben und bestimmt werden. Außerdem halte ich Autonomes Fahren für eine Sackgasse, die keine wesentlichen Probleme löst.
* Wird ja aktuell auch gemacht: Leitplanken, damit das Risiko bei hohen Geschwindigkeiten reduziert wird. Bäume roden, damit man sich nicht um die Bäume wickelt. Straßen besser ausbauen, damit man schneller fahren kann etc.