тут подумал, что свобода самоопределения человека (эмердженые цели несводимые к базовым) сильно ограничена культурой, обществом, - воспитательные, религиозные,
политические и юридические доктрины призваны контролировать и ограничивать свободу
самоопределения.
И опасения а ля Сл. возникают при том, а как, собственно, будет ограничен автономный
АGI?? (cкажем если все дело свести к проблеме 'оптимального выбора', динамического
программирования..)
тут нужно помнить, что в проблематике СИИ есть несколько парадигм, и не все столь
провокативны ('бесчеловечны') как АGI.. (поэтому оправдана постоянная война со
сверхупрощениями всех мастей, сведения интеллекта к решению задач, преследованию целей,
оптимальному выбору, решению задачи индукции etc etc).