شاید نگرانی از رسیدن به همین نقطه بوده که از بدو پیدایش مفهوم هوش مصنوعی، مخالفان فراوانی را برایش تراشیده است، صاحبنظرانی که از همان ابتدا معتقد بودند در این مسیر، ماشین قادر خواهد بود در مقاطعی «حق انتخاب» داشته باشد، راسا «تصمیم‌گیری» کند و عملا هویتی مستقل از پدیدآورنده‌اش یعنی انسان بیابد.
نکته قابل توجه اینکه طبقه‌ای از مخالفان این فناوری، برخلاف انتظار، ناآشنا با دنیای جدید و تکنولوژی‌های تازه نبوده و نیستند، بلکه برخی‌شان از متخصصین دانش و فناوری دنیای تازه به شمار می‌روند، اما دغدغه‌های فوق علمی، آنها را به انتقاد از این مفهوم، و هشدار برای کند و کاو بیشتر در خصوص پیامدهای رشد این دانش را داشته و دارند.
تصور کنید سیستمی ماشینی که می‌تواند به میل خود انتخاب کند، شعر بگوید، خود را کامل‌تر کند، و لاجرم به فکر رفع موانع پیشرفت خود نیز باشد.
اخیرا یکی از مدیران گوگل در پروژه هوش مصنوعی این شرکت یعنی «دیپ‌مایند» در خصوص این نظر که «انسان‌ها هرگز به هوش مصنوعی جامع نخواهند رسید» می‌گوید: «چنین فرجامی اجتناب‌ناپذیر است… الان فقط بحث بر سر توسعه و گسترش است! بازی تمام شد.»
گفتنی است که گوگل در پروژه خود به دنبال تحقق هوش مصنوعی جامع است، همان ایده‌ای که از نگاه برخی پژوهشگران برجسته هوش مصنوعی، ممکن است به یک فاجعه وجودی برای بشریت منجر شود، چرا که یکی از اصلی‌ترین دغدغه‌ها پیرامون آن، قابلیت آموزش ماشین به خود است و اینکه بتواند به صورت نمایی و تصاعدی از انسان‌ها هوشمندتر شود؛ به طوری که خاموش کردن آنها غیرممکن باشد.
حتی در خبری دیگر، صحبت از آن رفت که نسلی از سیستم مبتنی بر هوش مصنوعی، به نوعی از هویت دست یافته است که در حقیقت به معنای بُروز شکلی از «ادراک» است، و این نقطه‌ایست که طبعا منتقدین را بیشتر تهییج خواهد کرد.
اما فراتر از نگاه سطحی به دستاوردهای مثبت و یا انتقادات نسبت به این فناوری، نکته‌ای در این میان هست که گاه از سوی برخی صاحبنظران شنیده می‌شود، و آن نیاز به تعمیق هر چه بیشتر موضوع است.
در حال حاضر بنظر می‌رسد فضا بیشتر معطوف به دستاوردهای مثبت این فناوریست که طبعا جذاب و دل‌پسند است، و از سوی دیگر چندان بحث نظری و گفت‌وگو در این خصوص میان موافقان و مخالفان این موضوع شکل نگرفته است، و در حقیقت به جای طیفی از نظرات گوناگون و رنگارنگ موافق و مخالف، شاهد نظرات افراطی دو طرف هستیم و نتیجتا بحث‌ها نظری و میانه، چندان جایی ندارند.
مجموعا شاید بتوان گفت که اساسا فقدان بحث‌های جدی در خصوص موضوع مهم، حیاتی و آینده‌ساز «هوش مصنوعی» اصلی‌ترین چالش فراروی این فناوریست.