Человек против робота: Мы предупреждали!

В конце апреля в Швеции состоялся судебный процесс, истец по которому выиграл дело и получил небольшую компенсацию – около 3 тыс. долларов. Однако эффект от этого события может оказаться огромным: впервые человек засудил робота.

Роботы – уже давно не игрушки

 Неприятность случилась в 2007 г. Ответчиком выступил промышленный робот, работавший на фабрике под Стокгольмом и предназначенный для переноски тяжестей – верней, не сам он, а его хозяин, то есть компания-владелец завода. Рабочий, считавший, что машина выключена, попал в ее могучие манипуляторы и едва выжил. Робот схватил его за голову и принялся поднимать и трясти. Человеку помогла активная «самооборона», так что потерпевший отделался четырьмя переломами ребер.

Поучительно, что суд признал робота (точнее говоря, его владельца) «частично виновным» в несчастном случае и присудил выплатить пострадавшему 25 тыс. крон (примерно 3 тыс. долларов). Это решение вполне может стать первой ласточкой: вскоре наверняка появятся особые варианты страховки «от роботов», а проблемы, связанные с опасностью роботов, привлекут, наконец, внимание законодателей. По нашему мнению, время для этого уже давно настало. Достаточно вспомнить, как «сошедший с ума» боевой робот убил на учениях нескольких человек «Косильщик».

Впрочем, вопросы снижения потенциального риска, который несут с собой современные роботы – все более умные, сильные, а нередко и прекрасно вооруженные – поднимают сегодня многие специалисты по всему миру. Одни из них считают, что лучшим решением будет привить им жестко запрограммированный «моральный кодекс» (читайте: «Честь робота»), но куда более перспективным выглядит предложение научить их чувствовать и даже любить («Робот на доверии»).

По информации Gizmodo Добавлено: 12.05.09

Косильщик: Боевая антиутопия

Множество функций современного вооружения обеспечиваются электроникой. Обнаружение и отслеживание целей, выход на огневую позицию – человеку остается лишь нажать на кнопку. Но роботы могут и взбеситься, расстреливая все, что попадется им на пути. И такое уже происходит.

На днях вооруженные силы ЮАР столкнулись с неприятным инцидентом, напоминающим сюжет старого мрачноватого мультфильма «Полигон», в котором оснащенный по последнему слову техники танк убил массу людей. В жизни все произошло примерно так же: в ходе учений неизвестная причина «побудила» автоматическое орудие ПВО расстрелять 9 солдат и серьезно ранить еще 14.

Oerlikon GDF-005

Представитель южноафриканской армии бригадный генерал Квена Мангоп (Kwena Mangope) пока что сообщает лишь, что причина сбоя остается неустановленной: «Возможно, проблема была механической, она привела к тому, что полностью снаряженная пушка открыла бесконтрольный огонь, убивая и калеча людей». Некоторые другие эксперты высказывают мнение, что ошибку вызвал компьютер. По мнению специалиста по вооружениям Хельмод-Рёмера Хейтмана (Helmoed-Römer Heitman), в этом случае в точности установить причину трагедии вообще не удастся.

Основной «обвиняемый по делу» – противовоздушное орудие швейцарско-немецкого производства Oerlikon GDF-005. Оснащенное пассивным и активным радарами, лазерной системой целеуказания, оно способно вести огонь по низколетящим быстрым целям, включая самолеты, вертолеты, БПЛА и крылатые ракеты. В автоматическом режиме используется пара 35-мм стволов и система подзарядки.

В ходе учений орудие несколько раз «выходило из-под контроля», и в итоге его пришлось закрепить вручную, с помощью металлических крепежей и троса. Однако в какой-то момент крепежи не выдержали, и стволы принялись рассыпать снаряды направо и налево. Безымянная женщина-офицер с риском для жизни пыталась остановить его, но Oerlikon успокоился только когда полностью расстрелял оба своих магазина – а каждый из них включает 250 полукилограммовых снарядов.

Все это выглядит довольно удручающе, особенно на фоне все чаще появляющихся сообщений о введении в строй очередного боевого робота («Железяка с гранатометом», «Железяка с пулеметом»). По информации Wired Blog / Danger Room Добавлено: 24.10.07

В походном снаряжении

Постоянный адрес материала: http://www.popmech.ru/article/2570-kosilschik/

Честь робота: Кодекс для боевого автомата

Боевым роботам, которые (теперь уже несомненно) будут принимать самое активное участие в будущих войнах, требуется внушить особый «кодекс чести». Только так мы сможем быть уверенными, что «разгоряченный» схваткой стальной монстр гуманно отнесется и к мирным жителям, и к раненым, и к собственным товарищам по оружию.

Серьезное предупреждение о потенциальной опасности сформулировано в официальном докладе, который был подготовлен и выпущен исследовательским центром американских ВМС. В нем рассматриваются самые разные возможные сценарии развития событий, вплоть до будущего в духе «Терминатора», с полным порабощением всей человеческой расы.

Доклад предрекает приближение эры, когда роботы станут достаточно умными для того, чтобы принимать на поле боя самостоятельные решения. «В какой-то момент, - замечается в тексте, - они начнут и в этом демонстрировать явные преимущества в сравнении с солдатами-людьми».

Авторы исследования продолжают: «Весьма распространено заблуждение, что роботы будут делать только то, что заложено в их программу. К сожалению, это мнение давно устарело, относится оно еще к тем временам, когда даже самую сложную программу мог написать и понять один человек. Реальность же сегодняшнего дня такова, что даже текст современных программ составляет миллионы строк кода, написанных большими командами программистов – и ни один из них не представляет всю программу полностью и целиком». Соответственно, никто не может со стопроцентной вероятностью и предсказать, как поведет себя управляемый такой программой робот в условиях реального боя. Для этого понадобятся, как минимум, самые широкие и всесторонние полевые испытания – а против них могут выступить компании-производители, стремящиеся, естественно, как можно скорей выпустить продукт на рынок.

От себя добавим, что если робот должен действительно уметь принимать решения даже в условиях боя, то в такую систему заранее ввести все возможные комбинации и варианты событий попросту нереально. Алгоритмы его работы должны обязательно включать элементы самообучения – а уж чему научится робот в этих условиях, сказать еще сложнее. Да и вряд ли чему-то хорошему.

Решение, предлагаемое авторами доклада, состоит в составлении особых «воинских кодексов» для роботов, выполнение которых «намертво» будет вшито в их железные мозги. Это не столь изящно, как предложение их коллег создать для роботов своего рода систему эмоций («Робот на доверии»), зато и намного проще.

Авторы также рассмотрели и другие этические, юридические, социальные и политические аспекты военной робототехники. В частности, они впервые подняли вопросы защиты таких боевых систем от взлома и использования хакерами, от ошибок в программном обеспечении. Поднят и такой интересный вопрос, как ответственность – кто будет виноват, если боевой робот «обезумеет» и пойдет крушить все направо и налево? Не стоит ли снабдить их универсальной «кнопкой самоубийства»?

Все эти проблемы не просто своевременны, но и совершенно насущны, ведь, по плану американских военных, уже к 2010 г. треть всей дальней авиации США будет состоять из беспилотных устройств, а к 2015 г. автоматической будет треть всей наземной бронетехники. Да и инциденты уже случались – мы уже рассказывали о трагедии, случившейся с боевой пулеметной системой («Косильщик»).

«Стремление разработчиков как можно скорее выйти на рынок с реальными предложениями, - говорится в докладе, - отбрасывая необходимую проработку этических моментов использования боевых автономных систем, дает мало надежды на то, что первые поколения таких систем и роботов не совершат ошибок, которые могут стоить многих людских жизней».

Для начало дело за малым – составлением «воинского кодекса» роботов, который сочетал бы достаточно агрессивное поведение с гуманным отношением... Не хотите ли высказать свои предложения?

За основу можно взять классику – Три закона робототехники, сформулированные в 1950-х Айзеком Азимовым:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму законам.

По публикации Times Online

http://www.popmech.ru/article/5057-chest-robota/

Добавлено: 05.03.09