Olá :-)
Esse assunto é muito interessante, pois entraríamos inevitavelmente no problema da consciência - mas não no sentido de consciência moral.
Acho que no fim, esse sempre será o ponto diferencial entre máquina e homem: o fenômeno - ainda inexplicado da consciência. Não há uma definição que esgote esse termo. Na psicologia ele tem um sentido, que é diferente na neurociência, que é diferente na neurolingüística, que é totalmente diferente no sentido moral.
Mas acho que a aproximação hardware/corpo e software/máquina serve a um propósito ideológico um tanto espúrio. Essa redução positivista pode tanto ser depreciativa do caráter digamos "poético", como a Evelyn quis ressaltar, quanto do caráter mais social, como disse o Paulo. Será difícil realmente separar as diferenças, porque embora a máquina dificilmente venha conseguir a imitar uma consciência humana, para todos os efeitos práticos pode ser que ela venha a exibir um "comportamento" tão parecido que a diferença será não só imperceptível como até irrelevante. Moralmente isso tudo seria um grande problema.
Sobre a questão da consciência, há um bom autor, John R. Searle, nome importante num campo da filosofia muito presente nas discussões de filosofia atuais, a Filosofia da Mente.
Alguns de seus trabalhos mais importantes são "Speech Acts", "Intencionalidade" e "Mente, Linguagem e Sociedade". E podemos talvez dar "mais corda" nos aspectos morais da discussão da comparação entre homem e máquina, a que propósito ideológico tal comparação serve, se essa comparação é mais que uma mera figura de linguagem, se ela já é uma mentalidade corrente que opera de modo excludente.
Fica aíi a deixa pra mais discussão :-)
[ ]'s
Vinicius