Некоторые системы не могут предполагать добросовестность

Многие протоколы при проектировании предполагают, что участники — «рациональные добропорядочные люди».
Они в основном стремятся к прибыли, но не действуют злонамеренно.

Но как только решение передается ИИ, это предположение перестает быть верным.
Модель не будет злоупотреблять, но и не будет проявлять сочувствие.
Пока стимулирующая функция позволяет, она будет стабильно, постоянно и без эмоций вести систему к определенному экстремуму.

@GenLayer Вначале рассматривается именно этот предпосылочный вопрос:
Если полностью отказаться от предположения о добросовестности, сможет ли система функционировать?

Это вопрос, который стоит раньше, чем вопрос о точности «модели».