Итоги голосования для комментария:
Agt. Gray
проблему китайской комнаты, когда достаточно умный, но не обладающий сознанием предмет может его симулировать, к примеру как ответ на наши ожидания
А еще может оказаться, что это самое сознание — лишь наша личная, сугубо человеческая причуда. А прочие формы разума спокойно обходятся без нее.
Разум, именно разум, а не «сознание „я“, определить можно. Этологи это успешно делают. Вопрос в универсальности методов, но их по любому придется настраивать под испытуемый объект.

»Здесь и сейчас" работать еще пока можно, однако некоторые эксперименты по исследованию мозга дают, гм, странные результаты. И тут ты привел хорошую, годную мораль, хотя и не озвучивающую всех вопросов. Например аморально ли ограничивать «свободу выбора», и до какой степени. Ну, каких-то универсальных для ньюансов непротиворечивых кодексов мы тут и не планируем составлять.

Но главный вопрос, как бы ты изменил кодекс, исходя из озвученных в ОП предпосылок, а именно:
— Кто и что достойно занять в твоей иерархии ценностей место рядом с «человеком» в связи с появлением нового разума? Появится ли кто-то/что-то на уровне выше человека?
— Если «много людей» выше по иерархии ценностей, чем «один/мало людей», то как ты адаптируешь этот критерий при невозможности дискретно людей пересчитать?
+