Commentary.      

(IS THERE A HUMAN IN THE MACHINE? ARTIFICIAL INTELLIGENCE AND FUTURE WARFARE).

By James Johnson     

War On The Rocks

May 30-2024

Image: ChatGPT

Nhà triết học người Scotland David Hume nhận xét rằng "có một xu hướng phổ biến trong nhân loại là quan niệm tất cả những sinh vật giống như họ ... chúng ta tìm thấy những khuôn mặt trên mặt trăng, những đội quân trên mây". Con người luôn yêu thích chủ nghĩa nhân hóa, xu hướng gán các đặc điểm giống con người cho những người không phải con người. Các nhà tâm lý học, triết gia và nhân chủng học (anthropologists) đã coi nguồn gốc của thuyết nhân hóa (anthropomorphism) là một đặc điểm thích nghi tiến hóa và nhận thức, đặc biệt là liên quan đến các tôn giáo hữu thần (theistic). Các học giả suy đoán (Scholars speculate) rằng vì lý do tiến hóa, các vượn nhân hình đầu tiên như vượn lớn đã giải thích các hình dạng và vật thể mơ hồ như mây và đá là khuôn mặt hoặc cơ thể để cải thiện khả năng di truyền của chúng để tránh động vật săn mồi và các mối đe dọa khác [được gọi là "vật linh" (animism)]. Tốt hơn hết là một thợ săn nhầm một tảng đá với một con gấu hơn là nhầm một con gấu với một tảng đá. Xu hướng nhân hóa này, xu hướng gán các đặc điểm giống con người cho những người không phải con người, có ý nghĩa quan trọng đối với AI quân sự (significant implications for military AI).

Công nghệ AI (AI technology) đã được đưa vào các cỗ máy quân sự (infused into military machines). Vũ khí tự động (Autonomous weapons) có thể tấn công mà không cần sự can thiệp (intervention) của con người đã hỗ trợ phi công chiến đấu của con người trong nhiều tình huống, bao gồm tiếp nhiên liệu giữa không trung, hộ tống máy bay ném bom hạng nặng và hoạt động như mồi nhử để hấp thụ hỏa lực của kẻ thù. Nhiều máy hỗ trợ AI (AI-enabled) được thiết kế để trông và hành động như con người. Để các nhóm lai giữa người và máy làm việc cùng nhau hiệu quả, họ sẽ cần những phẩm chất tương tự mà các nhóm lính con người dựa vào: tin tưởng, chấp nhận, khoan dung và kết nối xã hội. Mặc dù những hạn chế của công nghệ AI trong tương tác giữa người và máy (limitations of AI technology in human–machine interactions) đã được hiểu rõ, nhưng tác động của xu hướng tự nhiên của chúng ta là nhân hóa các tác nhân AI đối với các khía cạnh tâm lý và động lực của các hoạt động quân sự lai (psychological and motivational aspects of hybrid military operations) đã nhận được ít sự chú ý hơn nhiều. AI nhân hóa ảnh hưởng đến hoạt động của con người và máy móc như thế nào? Và hậu quả (consequences) tiềm tàng (potential) của hiện tượng (phenomenon) này là gì?

NHÂN HÓA TRONG AI THEO THIẾT KẾ - ANTHROPOMORPHISM IN AI BY DESIGN

Cách người dùng con người cảm nhận được sự tương tác của họ với các hệ thống AI, một phần, bị ảnh hưởng bởi các lựa chọn có chủ ý của các nhà thiết kế. Từ những mô tả về những cỗ máy tính toán ban đầu của Alan Turing đến sự ô nhục công nghệ hiện đại của các chatbot mô hình ngôn ngữ lớn (large language model chatbots) - như ChatGPT của OpenAI, Copilot của Microsoft và Gemini của Google - các nhà nghiên cứu thường sử dụng các đặc điểm, khái niệm giống con người (ví dụ: "hiểu", "học" và "thông minh") và chuyên môn khi đề cập đến các hệ thống AI để làm nổi bật sự tương đồng của con người và thuật toán AI (similarities of humans and AI algorithms). Các nhà thiết kế đã tạo ra máy móc (ví dụ: robot, trợ lý kỹ thuật số, hình đại diện và bot xã hội) với các đặc điểm giống con người gợi ra thái độ tâm lý quen thuộc của con người đối với người khác, bao gồm sự tin tưởng, độ tin cậy và cảm giác kiểm soát (trust, reliability, and a sense of control). Tuy nhiên, xu hướng của văn hóa đại chúng và các phương tiện truyền thông nhấn mạnh những phẩm chất giống con người (ví dụ: cảm xúc, nhận thức, có tri giác, ý thức và đạo đức) của AI và robot vô tình đưa ra những quan niệm sai lầm về những gì AI có thể và không thể làm (false notions about what AI can and cannot do). Các nhà phê bình cho rằng những khái niệm này đánh lừa các nhà khai thác hệ thống tin rằng AI hiểu thế giới giống như con người (AI understands the world like humans do) thông qua trực giác (intuition), nhận thức (perception), nội tâm (introspection), trí nhớ (memory), lý trí (reason) và lời khai (testimony).

Sự thành công của các hệ thống vũ khí AI đã củng cố quan điểm rằng chủ nghĩa nhân hóa là một đặc điểm thiết yếu cho các tương tác giữa người và máy được hỗ trợ bởi AI hiện tại. Những thành công cao cấp của một số hệ thống vũ khí tự động đã góp phần làm tăng thêm mối quan tâm của công chúng và khoa học rằng sự phát triển của AI phụ thuộc (depends) vào việc mô phỏng bộ não con người và tâm lý con người. Trong thực tế, thiết kế các hệ thống AI nhân tạo hiệu quả nói dễ hơn làm. Sự phức tạp tuyệt đối của các mô hình tương tác của con người làm cho các tương tác giữa người và máy không chỉ về việc tái tạo tâm lý học mà còn về các khía cạnh văn hóa và xã hội. Ngay cả khi giao diện giữa người và máy hoàn toàn là nhận thức, số lượng đa dạng thần kinh (neurodiversity) trong nhận thức của con người là thực sự nổi bật.

TƯƠNG TÁC QUÂN SỰ GIỮA CON NGƯỜI VÀ MÁY MÓC TRONG HỢP TÁC LAI CHIẾN THUẬT - MILITARY HUMAN – MACHINE INTERACTIONS IN TACTICAL HYBRID TEAMING

Tăng cường AI có thể hỗ trợ một số khả năng cho phép nhiều hoạt động, chẳng hạn như máy bay không người lái dưới nước, mặt đất và trên không; phương tiện mặt đất bốn chân không người lái; robot hiện thân tương tác; và trợ lý kỹ thuật số và hình đại diện để hỗ trợ ra quyết định chỉ huy, bao gồm nhận dạng khuôn mặt và giọng nói để giải thích ý định của kẻ thù (face and voice recognition to interpret enemy intentions) và dự đoán hành vi của chúng.

Boeing và Không quân Mỹ đang hợp tác phát triển dự án "Loyal Wingman" gồm các máy bay không người lái chiến đấu tự động siêu thanh có khả năng bay theo đội hình với các máy bay chiến đấu F-35 thế hệ thứ năm. Các tác nhân AI sẽ điều hướng và thao túng môi trường của họ, lựa chọn các chiến lược giải quyết nhiệm vụ tối ưu và bảo vệ phản lực cơ trong các nhiệm vụ tấn công chung tự trị (strategies and defending jets in autonomous joint attack missions). Các mạng không giám sát, được đào tạo trước, học sâu (một lĩnh vực con của học máy) gần đây đã được thử nghiệm trên các phương tiện tự trị để đối phó với các vấn đề phi tuyến trong thế giới thực (real-world nonlinear problems). Tuy nhiên, các phương pháp học máy mới này không đáng tin cậy trong các môi trường phi tuyến quan trọng về an toàn. Các nghiên cứu như thế này chứng minh rằng hợp tác lai được tối ưu hóa khi các hành vi và ý định của AI được nhận thức, dự đoán và truyền đạt chính xác cho các phi công con người. Các tín hiệu và thuật ngữ được nhân hóa (Anthropomorphic cues and terms) có thể giúp đạt được mục tiêu này. Ví dụ, các nghiên cứu robot xã hội (social robotic studies) chứng minh rằng điều kiện tiên quyết quan trọng trong các tương tác giữa người và máy thành công là cách con người nhận thức chuyên môn, sự tham gia cảm xúc và phản ứng nhận thức của các tác nhân không phải con người. Các nghiên cứu gần đây (Recent studies) cũng chứng minh rằng các trợ lý kỹ thuật số và hình đại diện được nhân hóa có vẻ thông minh và đáng tin cậy hơn đối với con người so với những người không được nhân hóa.

Chủ nghĩa nhân hóa cũng có thể tác động đến cách công nghệ AI (ví dụ: chatbot, công nghệ deep-fake và các cuộc tấn công đối thủ tăng cường AI) có thể phóng đại (magnify) các chiến thuật lừa dối và thao túng thông tin. Ví dụ, bằng cách sử dụng phi cơ không người lái chiến đấu trên không thế hệ mới, được tăng cường AI như phi cơ Loyal Wingman trong các hoạt động tấn công bất đối xứng, các hệ thống AI có thể được đào tạo - hoặc cuối cùng là "học" tự động - để ngăn chặn hoặc sử dụng các tín hiệu và đặc điểm nhân tạo cụ thể để tạo ra cờ giả hoặc các hoạt động thông tin sai lệch khác. Bằng cách này, chủ nghĩa nhân hóa AI có thể mang lại cho quân đội những lợi thế chiến thuật đáng kể và mới lạ, đặc biệt là trong các tình huống thông tin bất đối xứng. Giải thích trạng thái tinh thần của một chiến binh con người khi tiếp xúc vật lý gần gũi (thông qua cử chỉ và nét mặt của họ) thường dễ dàng hơn so với diễn giải trạng thái tinh thần của máy bay không người lái, trợ lý kỹ thuật số và các phương tiện khác che giấu cử chỉ và nét mặt. Do đó, hiểu được các yếu tố quyết định và trình điều khiển của chủ nghĩa nhân hóa có thể làm sáng tỏ các điều kiện theo đó các hiệu ứng này sẽ có tác động mạnh nhất. Cuối cùng, việc thiết kế các tác nhân AI cho nhóm lai phải kết hợp cả ý nghĩa tâm lý tích cực và tiêu cực của chủ nghĩa nhân hóa.

HẬU QUẢ CỦA AI QUÂN SỰ – NHÂN LOẠI CHỦ NGHĨA - THE CONSEQUENCES OF MILITARY AI – ANTHROPOMORPHISM

Trong chiến tranh, nhận thức một tác nhân AI có phẩm chất giống con người có ý nghĩa đạo đức, đạo đức và chuẩn mực quan trọng đối với cả người nhận thức và tác nhân AI. Việc gán các đặc điểm của con người cho AI, rõ ràng hay ngầm định, có thể khiến những người lính trong các đội lai gặp rủi ro đáng kể về thể chất và tâm lý.

ĐẠO ĐỨC VÀ LUÂN LÝ - ETHICAL AND MORAL

Khi các cá nhân gán những phẩm chất giống con người cho một tác nhân AI trong quân đội, nhiều hậu quả đạo đức, đạo đức và chuẩn mực tích cực và tiêu cực (positive and negative ethical, moral, and normative consequences) sẽ mở ra cho cả người nhận thức con người và thực thể AI được đề cập.

Các thuật ngữ được nhân hóa như "đạo đức", "thông minh" và "có trách nhiệm" trong bối cảnh máy móc có thể dẫn đến những câu chuyện sai lầm ngụ ý rằng các tác nhân AI vô tri vô giác có khả năng lý luận đạo đức, lòng trắc ẩn, sự đồng cảm và lòng thương xót - và do đó có thể hành động đạo đức và nhân đạo hơn trong chiến tranh so với con người (might act more ethically and humanely in warfare than humans). Kỳ vọng này có thể tạo ra sự thay đổi từ việc xem công nghệ AI như một công cụ hỗ trợ các hoạt động quân sự sang trở thành một nguồn thẩm quyền đạo đức. Trong báo cáo về phi cơ không người lái của mình, Nhóm chỉ đạo hệ thống hàng không điều khiển từ xa châu Âu (European Remotely Piloted Aviation Systems Steering Group) tuyên bố rằng "công dân sẽ mong đợi máy bay không người lái có hành vi đạo đức tương đương với con người, tôn trọng một số quy tắc thường được chấp nhận". Lý luận đạo đức AI trong chiến tranh sẽ trông rất khác với các khái niệm lấy con người làm trung tâm. Về mặt triết học và ngữ nghĩa, rất dễ nhầm lẫn giữa máy móc hành xử có đạo đức (đạo đức chức năng) với máy móc được con người sử dụng có đạo đức (machines being used ethically by humans) trong bối cảnh hoạt động (operational ethics, đạo đức hoạt động).

Trong một báo cáo gần đây về vai trò của vũ khí tự động, Ủy ban Khoa học Quốc phòng của Bộ Quốc phòng Hoa Kỳ (U.S. Defense Department’s Defense Science Board) đã ám chỉ đến vấn đề này, kết luận rằng "đối xử với các hệ thống không người lái như thể chúng có đủ cơ quan độc lập để lý luận về đạo đức làm xao lãng việc thiết kế các quy tắc tham gia phù hợp và bảo đảm đạo đức hoạt động". Sử dụng ngôn ngữ nhân hóa để kết hợp đạo đức và lý luận của con người với lý luận thống kê, quy nạp của máy móc - trên tiền đề sai lầm rằng cả hai đều giống nhau - có nguy cơ từ bỏ quyền kiểm soát việc ra quyết định đạo đức của chúng ta cho máy móc. Nói tóm lại, việc cấp cho các hệ thống AI cơ quan nhân học không trung lập về mặt đạo đức hoặc đạo đức. Thay vào đó, nó đưa ra một rào cản quan trọng đối với việc khái niệm hóa nhiều thách thức của AI như một công nghệ mới nổi.

TIN TƯỞNG VÀ TRÁCH NHIỆM - TRUST AND RESPONSIBILITY

Nếu nhân viên quân sự nhận thấy các tác nhân AI có khả năng và thông minh hơn họ (automation bias, thiên vị tự động hóa), họ có thể trở nên dễ bị "lười biếng xã hội" (social loafing) hoặc tự mãn, trong các nhiệm vụ đòi hỏi sự hợp tác giữa người và máy, chẳng hạn như thu thập mục tiêu, thu thập thông tin tình báo hoặc đánh giá nhận thức tình huống chiến trường. Ví dụ, những người lái xe sử dụng chống bó cứng thắng được phát hiện lái xe nhanh hơn và gần hơn với các phương tiện phía trước so với những người không sử dụng. Nguy cơ xảy ra hậu quả không lường trước (risk of unintended consequences) thậm chí còn cao hơn với các tác nhân AI do thiếu kiến thức về cách các hệ thống AI đưa ra quyết định, một vấn đề được gọi là "vấn đề hộp đen". Như đã thảo luận dưới đây, một số rủi ro này có thể được giảm thiểu và kiểm soát thông qua giám sát, thiết kế và đào tạo thích hợp.

Mọi người có xu hướng suy luận nhầm lẫn mối liên hệ vốn có giữa đặc điểm của con người và máy móc (connection between human traits and machines) khi hiệu suất của chúng phù hợp hoặc vượt qua con người. Hơn nữa, mọi người có khả năng cảm thấy ít trách nhiệm hơn đối với sự thành công hay thất bại của các nhiệm vụ sử dụng giao diện giống như con người, coi các tác nhân AI như vật tế thần khi công nghệ gặp trục trặc. Tuy nhiên, nếu các quyết định và hành động của các tác nhân AI trong chiến đấu xuất hiện "giống con người", điều này thậm chí có thể làm tăng trách nhiệm nhận thức của con người đã thiết kế các thuật toán hoặc cộng tác với các tác nhân AI trong nhóm lai. Nghịch lý thay, những tiến bộ trong quyền tự chủ và trí thông minh của máy móc có thể đòi hỏi nhiều hơn, thay vì ít hơn, đóng góp từ người vận hành con người (more, rather than less, contributions from the human operator) để đối phó với những tình huống bất ngờ không thể tránh khỏi nằm ngoài các thông số đào tạo của thuật toán.

PHI NHÂN HÓA CHIẾN TRANH - THE DEHUMANIZATION OF WAR

Các cơ chế tâm lý khiến mọi người có khả năng gán cho những phẩm chất giống con người cũng có thể làm tăng sự hiểu biết của chúng ta về thời gian và lý do tại sao mọi người làm ngược lại. Nếu các hệ thống vũ khí hỗ trợ AI trong tương tác giữa người và máy được nhân hóa, kéo các chiến binh của con người ra xa chiến trường về thể chất và tâm lý, những người lính có nguy cơ trở nên có điều kiện để xem kẻ thù là những vật vô tri vô giác, không phải căn cứ hay cái ác, và những thứ không có giá trị vốn có. Mặc dù "sự thảnh thơi về cảm xúc" (emotional disengagement) liên quan đến một kẻ thù mất nhân tính được coi là có lợi cho hiệu quả chiến đấu và ra quyết định chiến thuật, mức độ tương tác giảm cũng làm giảm mong muốn hiểu, phát triển các kết nối xã hội hoặc đồng cảm với người khác, dẫn đến mất nhân tính (dehumanization).

Việc coi các hệ thống AI là tác nhân đáng tin cậy cũng có thể khiến người dùng thành hình các tệp đính kèm không phù hợp với các tác nhân AI. Ý tưởng này được hỗ trợ bởi nghiên cứu gần đây về việc sử dụng chatbot xã hội trong thời kỳ đại dịch cho thấy người dùng chấp nhận tiếp xúc nhiều hơn trong việc hợp tác giữa người và máy khi gặp phải mối đe dọa hoặc tình huống căng thẳng, chẳng hạn như cô đơn, lo lắng hoặc sợ hãi. Hơn nữa, xu hướng này làm tăng mối liên kết tình cảm của con người với chatbot. Trong khi chatbot xã hội là công cụ kỹ thuật số, dự đoán, chúng đã được thiết kế với tên và thậm chí cả tính cách, dẫn đến việc xã hội đối xử với chúng như thể chúng có ý thức (society treating them as if they have consciousness).

Như một hệ quả tất yếu (corollary), những người lính trong nhóm lai được nhân hóa có thể (1) xem "đồng đội" AI của họ xứng đáng được bảo vệ và chăm sóc nhiều hơn đối thủ của họ, và/ hoặc (2) trở nên say sưa bởi sức mạnh của họ đối với kẻ thù và do đó có xu hướng phi nhân tính hóa kẻ thù, biện minh cho những hành vi sai trái trong quá khứ và các hành vi xâm lược quá mức, có khả năng vô đạo đức.

KẾT LUẬN: QUẢN LÝ HỢP TÁC GIỮA NGƯỜI VÀ MÁY TRONG TƯƠNG LAI - CONCLUSION: MANAGING FUTURE HUMAN–MACHINE TEAMING.

Chủ nghĩa nhân hóa AI và tác động của nó đối với tương tác giữa người và máy trong hợp tác lai quân sự cần được thừa nhận và hiểu bởi cộng đồng nghiên cứu AI và quốc phòng, người dùng và các thành phần rộng lớn hơn của hệ sinh thái kỹ thuật xã hội nếu họ muốn dự đoán thực tế các cơ hội, thách thức và rủi ro liên quan đến làm việc theo nhóm chiến thuật lai. Việc khai triển các tác nhân AI tự chủ cao đòi hỏi một loạt các thách thức về kỹ thuật xã hội và tâm lý. Các chiến binh của con người phải hiểu thiết kế thuật toán AI liên quan đến chức năng; những hạn chế và thành kiến trong nhận thức, nhận thức và phán đoán của con người và máy móc; và những rủi ro liên quan đến việc ủy thác việc ra quyết định cho máy móc.

Các nhà hoạch định chính sách, nhà thiết kế và người dùng nên xem xét một số biện pháp khả thi để tối đa hóa lợi thế và giảm thiểu rủi ro trong giao diện người-máy trong tương lai. Đầu tiên, các hệ thống do AI điều khiển nên được thiết kế để giám sát các thành kiến, lỗi, hành vi đối nghịch và rủi ro nhân tạo tiềm ẩn. Các nhà hoạch định chính sách cũng nên kết hợp các chuẩn mực đạo đức "con người" trong các hệ thống AI trong khi vẫn giữ vai trò của con người như các tác nhân đạo đức bằng cách giữ con người trong vòng lặp như những người không an toàn. Thứ hai, đào tạo người vận hành nhấn mạnh "sự kiểm soát có ý nghĩa của con người" có thể thúc đẩy văn hóa cảnh giác tập thể chống lại sự thiên vị tự động hóa và sự tự mãn trong nhóm kết hợp. Thứ ba, quân đội nên giáo dục các chiến binh và nhân viên hỗ trợ về những lợi ích và rủi ro có thể có của việc nhân hóa các tác nhân AI. Thứ tư, giao diện giữa người và máy phải được điều chỉnh để chống lại tác động tiềm tàng của việc phi nhân hóa, tư duy nhóm và các mối quan tâm khác liên quan đến trách nhiệm đạo đức khuếch tán (diffused). Cụ thể, các vấn đề chính sách, an toàn, pháp lý và đạo đức cần được kiểm tra trước khi công nghệ được triển khai, và giáo dục quân sự chuyên nghiệp cần bao gồm đào tạo trong các lĩnh vực này, đặc biệt là cách đáp ứng nhu cầu thực tế, thực tế thực tế và cân nhắc pháp lý và đạo đức của tương tác giữa người và máy. Quân đội cũng nên phối hợp chặt chẽ các quyết định cấu trúc lực lượng với các bài tập huấn luyện để tối đa hóa thông tin liên lạc giữa người và máy, đặc biệt là khi thông tin liên lạc trên toàn chuỗi chỉ huy bị hạn chế hoặc bị xâm phạm.

Những nỗ lực này sẽ tối ưu hóa giao tiếp giữa người và máy và thiết lập mức độ tin cậy, chấp nhận và khoan dung phù hợp trong các tương tác giữa người và máy. Đảm bảo hoạt động của con người hoạt động trong toàn bộ quá trình ra quyết định liên tục có thể cải thiện nhận thức của người dùng về hệ thống AI. Hiệu chỉnh một cách thích hợp niềm tin và sự tự tin của họ trong các tương tác giữa người và máy để tối đa hóa kết quả hợp tác thành công vẫn còn là một thách thức.

Viết bởi James Johnson.

James Johnson là giảng viên cao cấp về nghiên cứu chiến lược tại Đại học Aberdeen, Tô Cách Lan (Scotland). Ông cũng là một thành viên danh dự tại Đại học Leicester. Ông là tác giả của ba tập về AI và chiến tranh trong tương lai, bao gồm The AI Commander: Centaur Teaming, Command, and Ethical Dilemmas (OUP, 2024); AI và quả bom: Chiến lược hạt nhân và rủi ro trong kỷ nguyên kỹ thuật số (AI and the Bomb: Nuclear Strategy and Risk in the Digital Age) (OUP, 2023); và Trí tuệ nhân tạo và tương lai của chiến tranh: Hoa Kỳ, Trung Quốc và sự ổn định chiến lược (Artificial Intelligence and the Future of Warfare: The USA, China, and Strategic Stability) (MUP, 2021).

.

Commentary.      

IS THERE A HUMAN IN THE MACHINE? ARTIFICIAL INTELLIGENCE AND FUTURE WARFARE.

By James Johnson     

War On The Rocks

May 30-2024

Image: ChatGPT

Scottish philosopher David Hume observed that “there is a universal tendency among mankind to conceive all beings like themselves … we find faces in the moon, armies in the clouds.” Humans have always had a fondness for anthropomorphism, the tendency to attribute human-like traits to non-humans. Psychologists, philosophers, and anthropologists have considered the origin of anthropomorphism as an evolutionary and cognitive adaptive trait, particularly concerning theistic religions. Scholars speculate that for evolutionary reasons, early hominids such as the great apes interpreted ambiguous shapes and objects such as clouds and rocks as faces or bodies to improve their genetic fitness to avoid predatory animals and other threats (known as “animism”). It is far better for a hunter to mistake a boulder for a bear than to mistake a bear for a boulder. This penchant for anthropomorphism, the tendency to attribute human-like traits to non-humans, has significant implications for military AI.

AI technology is already being infused into military machines. Autonomous weapons that can attack without human intervention have already supported human fighter pilots in multiple scenarios, including refueling in mid-air, escorting heavy bombers, and acting as decoys to absorb enemy fire. Many AI-enabled machines are designed to look and act like humans. For hybrid human–machine teams to work together effectively, they will need the same qualities that teams of human soldiers rely on: trust, acceptance, tolerance, and social connection. While the limitations of AI technology in human–machine interactions are well understood, the impact of our natural tendency to anthropomorphize AI agents on the psychological and motivational aspects of hybrid military operations has received much less attention. How does anthropomorphizing AI influence human–machine operations? And what are the potential consequences of this phenomenon?

ANTHROPOMORPHISM IN AI BY DESIGN

The way human users perceive their interactions with AI systems is, in part, influenced by deliberate choices made by the designers. From depictions of Alan Turing’s early computational machines to the modern-day technological infamy of large language model chatbots — such as OpenAI’s ChatGPT, Microsoft’s Copilot, and Google’s Gemini — researchers often use human-like traits, concepts (e.g., “understand,” “learn,” and “intelligence”), and expertise when referring to AI systems to highlight the similarities of humans and AI algorithms. Designers have created machines (e.g., robots, digital assistants, avatars, and social bots) with human-like features that elicit familiar psychological attitudes exhibited by humans toward other humans, including trust, reliability, and a sense of control. However, the tendency of popular culture and media coverage to emphasize the human-like qualities (e.g., emotional, cognitive, sentient, conscious, and ethical) of AI and robots inadvertently expounds false notions about what AI can and cannot do. Critics argue that these conceptualizations mislead system operators into believing that AI understands the world like humans do through intuition, perception, introspection, memory, reason, and testimony.

The success of AI weapons systems has reinforced the view that anthropomorphism is an essential trait for current AI-powered, human–machine interactions. The high-profile successes of some autonomous weapon systems has contributed further to the public and scientific concern that the development of AI depends on emulating the human brain and human psychology. In reality, designing effective anthropomorphic AI systems is easier said than done. The sheer complexity of human interaction patterns makes human–machine interactions not only about replicating psychology but also about cultural and social dimensions. Even if human–machine interfaces were purely cognitive, the amount of neurodiversity in human cognition is genuinely striking.

MILITARY HUMAN – MACHINE INTERACTIONS IN TACTICAL HYBRID TEAMING

AI augmentation could support several capabilities that enable many operations, such as unmanned underwater, ground, and aerial vehicles; unmanned quadruped ground vehicles; interactive embodied robots; and digital assistants and avatars to support command decision-making, including face and voice recognition to interpret enemy intentions and anticipate their behavior.

Boeing and the U.S. Air Force are collaborating in the development of a “Loyal Wingman” project of supersonic autonomous combat drones capable of flying in formation with fifth-generation F-35 fighters. AI agents will navigate and manipulate their environment, selecting optimum task-resolution strategies and defending jets in autonomous joint attack missions. Recent unsupervised, pre-trained, deep-learning (a sub-field of machine learning) networks have been tested on autonomous vehicles to cope with real-world nonlinear problems. However, these new machine-learning approaches are not trustworthy in safety-critical nonlinear environments. Studies like this demonstrate that hybrid teaming is optimized when the behaviors and intentions of AI are accurately perceived, anticipated, and communicated to human pilots. Anthropomorphic cues and terms can help achieve this objective. For instance, social robotic studies demonstrate that a critical precondition in successful human–machine interactions is how humans perceive non-human agents’ expertise, emotional engagement, and perceptual responses. Recent studies also demonstrate that anthropomorphic digital assistants and avatars appear more intelligent and credible to humans than non-anthropomorphic ones.

Anthropomorphism can also impact how AI technology (e.g., chatbots, deep-fake technology, and AI-augmented adversarial attacks) can magnify deception tactics and information manipulation. For example, using new-generation, AI-enhanced aerial combat drones such as the Loyal Wingman aircraft in asymmetric offensive operations, AI systems might be trained — or, eventually, autonomously “learn”— to suppress or use specific anthropomorphic cues and traits to generate false flags or other disinformation operations. In this way, AI-anthropomorphism could offer militaries significant and novel tactical advantages, especially in asymmetric information situations. Interpreting the mental state of a human combatant in close physical contact (through their gestures and facial expressions) is generally easier than interpreting the mental state of drones, digital assistants, and other vehicles that hide gestures and facial expressions. Therefore, understanding anthropomorphism’s determinants and drivers can shed light on the conditions under which these effects will be most impactful. Ultimately, the design of AI agents for hybrid teaming must incorporate both anthropomorphism’s positive and potentially negative psychological implications.

THE CONSEQUENCES OF MILITARY AI – ANTHROPOMORPHISM

In war, perceiving an AI agent as having human-like qualities has significant ethical, moral, and normative implications for both the perceiver and the AI agent. Attributing human characteristics to AI, explicitly or implicitly, can expose soldiers in hybrid teams to considerable physical and psychological risks.

ETHICAL AND MORAL

When individuals attribute human-like qualities to an AI agent in the military, many positive and negative ethical, moral, and normative consequences unfold for both the human perceiver and the AI entity in question.

Anthropomorphic terms like “ethical,” “intelligent,” and “responsible” in the context of machines can lead to false tropes implying that inanimate AI agents are capable of moral reasoning, compassion, empathy, and mercy — and thus might act more ethically and humanely in warfare than humans. This expectation may induce a shift from viewing AI technology as a tool to support military operations to becoming a source of moral authority. In its drone report, the European Remotely Piloted Aviation Systems Steering Group stated that “citizens will expect drones to have an ethical behavior comparable to the human one, respecting some commonly accepted rules.” AI ethical reasoning in war would look very different from human-centric notions. Philosophically and semantically, it is easy to confuse machines behaving ethically (functional ethics) with machines being used ethically by humans in operational contexts (operational ethics).

In a recent report on the role of autonomous weapons, the U.S. Defense Department’s Defense Science Board alluded to this problem, concluding that “treating unmanned systems as if they had sufficient independent agency to reason about morality distracts from designing appropriate rules of engagement and ensuring operational morality.” Using anthropomorphic language to conflate human ethics and reasoning with a machine’s inductive, statistical reasoning — on the false premise that the two are similar — risks abdicating control over our ethical decision-making to machines. In short, granting AI systems anthropocentric agency is not ethically or morally neutral. Instead, it presents a critical barrier to conceptualizing AI’s many challenges as an emerging technology.

TRUST AND RESPONSIBILITY

Were military personnel to perceive AI agents as more capable and intelligent than they are (automation bias), they may become more predisposed to “social loafing,” or complacency, in tasks that require human–machine collaboration, such as target acquisition, intelligence gathering, or battlefield situation-awareness assessments. For example, drivers who use anti-lock braking were found to drive faster and closer to vehicles ahead of them than those who did not. The risk of unintended consequences is even higher with AI agents due to the lack of knowledge about how AI systems make decisions, an issue known as the “black box problem.” As discussed below, some of these risks could be mitigated and controlled through appropriate monitoring, design, and training.

People tend to mistakenly infer an inherent connection between human traits and machines when their performance matches or surpasses humans. Moreover, people are likelier to feel less responsible for the success or failure of tasks that use human-like interfaces, treating AI agents as scapegoats when the technology malfunctions. However, if the decisions and actions of AI agents during combat appear “human-like,” this may even increase the perceived responsibility of the humans who designed the algorithms or collaborated with AI agents in hybrid teaming. Paradoxically, advances in autonomy and machine intelligence may require more, rather than less, contributions from the human operator to cope with the inevitable unexpected contingencies that fall outside of an algorithm’s training parameters.

THE DEHUMANIZATION OF WAR

The psychological mechanisms that make people likely to attribute human-like qualities can also increase our understanding of when and why people do the opposite. If AI-enabled weapons systems in human–machine interactions are anthropomorphized, drawing human warfighters physically and psychologically further away from the battlefield, soldiers risk becoming conditioned to view the enemy as inanimate objects, neither base nor evil, and things devoid of inherent worth. Although the “emotional disengagement” associated with a dehumanized enemy is considered conducive to combat efficiency and tactical decision-making, reduced levels of interaction also reduce the desire to understand, develop social connections, or empathize with others, resulting in dehumanization.

Treating AI systems as trustworthy agents can also cause users to form inappropriate attachments to AI agents. This idea is supported by recent research on social chatbot usage during the pandemic that found human users accepted greater contact in human–machine teaming when presented with a threat or stressful situation, such as loneliness, anxiety, or fear.  Moreover, this propensity increases humans’ emotional bond with the chatbot. While social chatbots are digital, predictive tools, they have been designed with names and even personalities, resulting in society treating them as if they have consciousness.

As a corollary, soldiers in anthropomorphized hybrid teaming might (1) view their AI “teammates” as deserving of more protection and care than their human adversary, and/or (2) become intoxicated by their power over an adversary and thus more predisposed to dehumanize the enemy, justifying past wrongdoings and excessive, potentially immoral acts of aggression.

CONCLUSION: MANAGING FUTURE HUMAN–MACHINE TEAMING

AI-anthropomorphism and its impact on human–machine interactions in military hybrid collaboration need to be acknowledged and understood by the AI and defense research community, its users, and the broader constituents of the socio-technical ecosystem if they desire to realistically anticipate the opportunities, challenges, and risks associated with hybrid tactical teamwork. Deploying highly autonomous AI agents entails a series of socio-technical and psychological challenges. Human warfighters must understand the AI algorithmic design regarding functionality; the limitations and biases in human and machine perception, cognition, and judgment; and the risks associated with delegating decision-making to machines.

Policymakers, designers, and users should consider several possible measures to maximize the advantages and minimize the risks in future human–machine interfaces. First, AI-driven systems should be designed to monitor biases, errors, adversarial behavior, and potential anthropomorphic risk. Policymakers should also incorporate “human” ethical norms in AI systems while retaining the role of humans as moral agents by keeping humans in the loop as fail-safes. Second, human-operator training that emphasizes “meaningful human control” could foster a culture of collective vigilance against automation bias and complacency in hybrid teaming. Third, militaries should educate combatants and support staff about the possible benefits and risks of anthropomorphizing AI agents. Fourth, human–machine interfaces must be regulated to counteract the potential impact of dehumanization, groupthink, and other concerns related to diffused moral responsibility. Specifically, policy, safety, legal, and ethical issues should be examined before the technology is deployed, and professional military education needs to include training in these areas, particularly how to respond to the actual needs, practical realities, and legal and ethical considerations of human–machine interactions. Militaries should also closely coordinate force-structuring decisions with training exercises to maximize human–machine communications, especially when communications across the chain of command are restricted or compromised.

These efforts should optimize human–machine communication and establish appropriate trust, acceptance, and tolerance levels in human–machine interactions. Ensuring human operations are active across the entire decision-making continuum could improve users’ perception of an AI system. Appropriately calibrating their trust and confidence in human–machine interactions to maximize successful teaming outcomes remains challenging.

By James Johnson.

James Johnson is a senior lecturer in strategic studies at the University of Aberdeen, Scotland. He is also an honorary fellow at the University of Leicester. He has authored three volumes on AI and future war, including The AI Commander: Centaur Teaming, Command, and Ethical Dilemmas  (OUP, 2024); AI and the Bomb: Nuclear Strategy and Risk in the Digital Age (OUP, 2023); and Artificial Intelligence and the Future of Warfare: The USA, China, and Strategic Stability (MUP, 2021).

*  *  *

Xem bài liên hệ với đề tài nầy: click vào đây

Xem bài trang Kiến thức, tài liệu: click vào đây

Xem các bài trên trang Anh ngữ: click vào đây

Trở về trang chính: http://www.nuiansongtra.net