Преподавательница из технологического университета Джорджии (США) Джилл Уотсон в течение пяти месяцев помогала студентам в работе над проектами по дизайну компьютерных программ. Ее считали выдающимся педагогом вплоть до того момента, когда выяснилось, что Джилл Уотсон не человек, а робот, система искусственного интеллекта на базе IBM Watson . Эту историю рассказали в The Wall Street Journal .
Робот «Джилл» вместе с еще девятью преподавателями-людьми помогала около 300 студентам разрабатывать программы, касающиеся дизайна презентаций, например, грамотного подбора картинок-иллюстраций.
Джилл помогала студентам на интернет-форуме, где они сдавали и обсуждали работы, использовала в своей речи жаргонные и просторечные обороты вроде «угу» («Yep!»), то есть вела себя как обычный человек.
«Она должна была напоминать нам о датах дедлайна и с помощью вопросов подогревать обсуждения работ. Это было как обычный разговор с обычным человеком», - рассказала студентка вуза Дженнифер Гевин.
Другой студент, Шрейяс Видьярти, представлял себе Джилл как симпатичную белую женщину 20-ти с небольшим лет, работающую над докторской диссертацией.
Не заподозрил в человеке робота даже студент Баррик Рид, который два года работал на IBM, создавая программы для «Джилл Уотсон». Даже в имени «Уотсон» он не разглядел подвоха.
Робот был включен в университетскую программу обучения, чтобы избавить преподавателей от огромного потока вопросов, с которыми к ним обращаются в процессе обучения студенты. Робот «Джилл» способен к обучению в отличие от интернет-чатботов.
Строго говоря, этот робот-педагог сдал знаменитый тест Алана Тьюринга, который на протяжении довольно долгого времени считался главным критерием для ответа на вопрос «Могут ли машины мыслить?».
Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум», опубликованной в 1950 году в философском журнале Mind. Тьюринг задался целью определить, может ли машина мыслить.
Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».
Все участники теста не видят друг друга. Если судья не может сказать определенно, кто из собеседников является человеком, то считается, что машина прошла тест. Чтобы протестировать именно интеллект машины, а не её возможность распознавать устную речь, беседа ведется в режиме «только текст», например, с помощью клавиатуры и экрана (компьютера-посредника). Переписка должна производиться через контролируемые промежутки времени, чтобы судья не мог делать заключения, исходя из скорости ответов. Во времена Тьюринга компьютеры реагировали медленнее человека. Сейчас это правило тоже необходимо, потому что они реагируют гораздо быстрее, чем человек.
Алан Тьюринг - знаменитый английский математик и криптограф, во время второй мировой войны разработавший алгоритм для взлома немецкого шифратора «Энигма». Он начинает свою статью утверждением: «Я предлагаю рассмотреть вопрос „Могут ли машины думать?“». Тьюринг подчёркивает, что традиционный подход к этому вопросу состоит в том, чтобы сначала определить понятия «машина» и «интеллект». Словно понимая, что это можно обсуждать до бесконечности, а толку будет немного, Тьюринг выбирает другой путь. Он предлагает заменить вопрос «Думают ли машины?» вопросом «Могут ли машины делать то, что можем делать мы (как мыслящие создания)?».
В окончательной версии теста Тьюринга жюри должно задавать вопросы компьютеру, задача которого - заставить членов жюри поверить, что он на самом деле человек.
Вокруг теста Тьюринга со временем разгорелись жаркие споры экспертов по когнитивистике. Например, американскпй философ Джон Роджерс Сёрл в 1980 году написал статью «Разум, мозг и программы», в которой выдвинул контраргумент, известный как мысленный эксперимент «Китайская комната». Сёрл настаивал, что даже прохождение роботами или программами теста Тьюринга будет означать лишь манипуляцию символами, которых они не понимают. А без понимания нет разума. Значит тест Тьюринга неверен.
Эксперимент «Китайская комната» заключается в том, что испытуемый помещается в изолированную комнату, в которую ему через узкую щель передают вопросы, записанные китайскими иероглифами. С помощью книги с инструкциями по манипуляциям с иероглифами, человек, совершенно не понимающий китайской письменности, сможет правильно ответить на все вопросы и ввести в заблуждение того, кто их задает. Тот будет считать, что отвечающий на его вопросы прекрасно знает китайский язык.
В ходе дискуссии, которая продолжалась все 80-е и 90-е годы вспомнили даже «мельницу Лейбница», то есть мысленный эксперимент великого математика, описанный им в книге «Монадология». Лейбниц предлагает представить машину величиной с мельницу, которая бы могла симулировать чувства, мысли и восприятие. То есть внешне казалась бы разумной. Если зайти внутрь такой машины, то ни один из ее механизмов не будет являться сознанием или мозгом. Думается, что Лейбниц и Сёрл разными способами выразили одну и ту же мысль: даже если машины кажется мыслящей, она на самом деле не мыслит.
Ответа на вопрос «Могут ли машины мыслить?» нет до сих пор по одной простой причине: ученые перестали спорить и пытаются создать такие машины. Возможно, они когда-нибудь преуспеют в этом. Однако, не исключено, что искусственный интеллект обманет даже своих создателей, которые поверят в его разумность и которая на самом деле будет лишь манипуляцией, но такой искусной, что раскрыть ее человеку окажется не под силу. +
В фильме выдающегося советского режиссера -документалиста Семена Райтбурта демонстрируется одна из попыток прохождения теста Тьюринга роботом. В ходе эксперимента, воспроизводимого в фильме, несколько человек задают одинаковые вопросы двум неизвестным собеседникам, пытаясь распознать, кто перед ними - машина или человек. Признаюсь, что я лично ошибся, роботом оказался не тот, на которого я подумал. Поэтому мне вполне понятны чувства студентов «мисс Джилл Уотсон», полгода принимавших ее за человека.
Испытайте себя, товарищи!
А я вчера завалил тест Тьюринга: меня приняли за компьютер! Дело было при игре в шахматы на freechess.org . Вообще в онлайн-шахматах очень много плакс, которые, чуть что, норовят обвинить оппонента в использовании движка. Конечно, много кто так жульничает, но меня всегда обвиняют беспочвенно. В дебютную библиотеку, бывает, подглядываю, а дальше уже только сам. Если удаётся поймать соперника на длинный вариант, у него почему-то часто от этого лютый баттхёрт приключается: не может, говорит, человек так играть.
Полностью во вьюере можно посмотреть тут: Karapuzik vs. chessmasterrossie , а самые яркие моменты я сейчас прокомментирую отдельно. Дело в том, что мне самому партия очень понравилась, и хочется похвастаться. Контроль — 5 минут на партию плюс 5 секунд на ход.
Вот такая позиция возникла после 18 ходов.
В дебюте белые (я) играли несколько безалаберно, в частности, ферзь проделал путь d1-b3-d1-g1, много времени потеряно. Вообще ферзь на g1 или f2 в этой схеме часто встаёт, но обычно его путь менее извилист. Чёрные из потерь только успели сходить конём b8-c6-e5-d7, а сейчас явно готовятся к b6-b5. Главная проблема, что мой любимый план с надвижением пешки "a" у белых не проходит: мешает собственный конь на a3. Пока его не уберу, активного плана нет. А как только уберу, получу b5... Тут я заметил комбинационный мотив и устроил провокацию: 19.Nc2 b5? 20.Nb4 Qb7 .
21.N:a6! Q:a6 (полагаю, что 21... b4 было сильнее) 22.c:b5 B:b5 23.N:b5 R:b5 24.a4
В этом всё дело! Теперь белые забирают целую ладью и остаются по итогам перестрелки с лишним качеством и пешкой. Дальше была довольно сумбурная игра в блиц, под занавес которой соперник опять попался на простую тактику. Это его, похоже, и добило. Тактику же только компьютеры умеют, особенно такую сложную:
34... B:b4? 35.Rb1 Rb7 (на это была вся надежда, но...) 36.a6! Rb5 37.a7 , и, чтобы остановить пешку, приходится отдать слона b4.
Тут соперник что-то стал медленно ходить. Смотрю — он мне в чятик пишет. Пишет следующее:
chessmasterrossie says: good engine usage
chessmasterrossie says: good engine usagenh5
chessmasterrossie says: such comput er moves
chessmasterrossie says: such computer moves
chessmasterrossie says: qg1???
chessmasterrossie says: as if a human would play that
chessmasterrossie says: g4?
chessmasterrossie says: such a human move!
chessmasterrossie says: how obviously was that a use of a chess engine.
chessmasterrossie says: I will send a compulaint
chessmasterrossie says: complaint
Просто бальзам на сердце. =)
Эмпирический эксперимент, в ходе которого человек общается с компьютерной интеллектуальной программой, которая моделирует ответы как человек.
Предполагается, что тест Тьюринг пройден, если человек при общении с машиной считает, что общается с человеком, а не машиной.
Британский математик Алан Тьюринг в 1950 г. придумал такой эксперимент по аналогии с имитационной игрой, которая предполагает, что 2 человека уходят в разные комнаты, а 3й человек должен понять кто где, общаясь с ними письменно.
Тьюринг предложил такую игру провести с машиной и, если машина сможет ввести в заблуждение эксперта, это будет означать, что машина может думать. Таким образом, классический тест проходит по следующему сценарию:
Человек-эксперт общается через чат с чат-ботом и другими людьми. По окончании общения эксперт должен понять, кто из собеседников был человеком, а кто — ботом.
В наше время тест Тьюринга получил много разных модификаций, рассмотрим некоторые из них:
Обратный тест Тьюринга
Тест заключается в выполнении каких- либо действий для подтверждения, что ты человек. Н-р, мы можем часто сталкиваться с потребностью ввести цифры и буквы в специальное поле с искаженного изображения с набором цифр и букв. Данные действия защищают сайт от ботов. Прохождение данного теста подтверждало бы способность машины воспринимать сложные искаженные изображения, но пока таких не существует.
Тест бессмертия
Тест заключается в максимальном повторении личностных характеристик человека. Считается, что если характер человека максимально качественно скопирован, и его невозможно отличить от источника, то означает, что пройден тест бессмертия.
Минимальный интеллектуальный Signal-тест
Теста предполагает упрощенную форму ответов на вопросы — только да и нет.
Мета-тест Тьюринга
Тест предполагает, что машина «умеет мыслить», если она может создать что-то, что она сама хочет проверить на разумность.
Первое прохождение классического теста Тьюринга зафиксировано 6 июня 2014 года чат-ботом «Женя Густман», разработанным в Санкт-Петербурге. Бот убедил экспертов, что они общаются с 13-летним подростка из Одессы.
В общем, машины уже способны на многое, сейчас много специалистов работают в данном направлении и нас ждут все более интересные вариации и прохождения данного теста.
"Eugene Goostman" удалось пройти тест Тьюринга и убедить 33% судей в том, что с ними общается не машина. Программа выдавала себя за триннадцатилетнего мальчика по имени Евгений Густман из Одессы и смогла убедить беседовавших с ней людей в том, что выдаваемые ею ответы принадлежат человеку.
Тест проходил в Лондонском королевском обществе, его проведение организовал Университет Рединга, Великобритания. Авторами программы являются российский инженер Владимир Веселов, проживающий в настоящее время в США, и украинец Евгений Демченко, который живёт сейчас в России.
Как программа "Евгений Густман" прошла тест Тьюринга?
В субботу 7 июня 2014 года суперкомпьютер по имени Eugene попытался воссоздать интеллект тринадцатилетнего подростка - Евгения Густмана.
В тестировании, организованном Школой системной инженерии при Университете Рединга (Великобритания), участвовали пять суперкомпьютеров. Испытание представляло собой серию пятиминутных письменных диалогов.
Разработчикам программы удалось подготовить бота ко всем возможным вопросам и даже обучить его собирать примеры диалогов через Twitter. Кроме того, инженеры наделили героя ярким характером. Притворяясь 13-летним мальчиком, виртуальный «Евгений Густман» не вызывал сомнений у экспертов. Они поверили в то, что мальчик может не знать ответы на многие вопросы, ведь уровень знаний у среднего ребёнка существенно ниже, чем у взрослых. При этом его правильные и точные ответы списывали на необычную эрудицию и начитанность.
В тесте участвовали 25 «скрытых» людей и 5 чат-ботов. Каждый из 30-ти судей провёл по пять чат-сессий, пытаясь определить реальную природу собеседника. Для сравнения, в традиционном ежегодном конкурсе программ искусственного интеллекта на премию Лёбнера* участвует всего 4 программы и 4 скрытых человека.
Впервые программа с «юным одесситом» появилась ещё в 2001 году. Однако лишь в 2012 году она показала действительно серьёзный результат, убедив 29 % судей.
Данный факт доказывает, что в скором будущем, появятся програмы, которые будут способны без проблем пройти тест Тьюринга .
Тест Тьюринга - эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить.
Стандартная интерпретация этого теста звучит следующим образом:
«Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы - ввести человека в заблуждение, заставив сделать неверный выбор».
Все участники теста не видят друг друга. Если судья не может сказать определенно, кто из собеседников является человеком, то считается, что машина прошла тест. Чтобы протестировать именно интеллект машины, а не её возможность распознавать устную речь, беседа ведется в режиме «только текст», например, с помощью клавиатуры и экрана (компьютера-посредника). Переписка должна производиться через контролируемые промежутки времени, чтобы судья не мог делать заключения исходя из скорости ответов. Во времена Тьюринга компьютеры реагировали медленнее человека. Сейчас это правило необходимо, потому что они реагируют гораздо быстрее, чем человек.
По состоянию на 2009 год ни одна из существующих компьютерных систем не приблизилась к прохождению теста.
Компьютерная программа, имитирующая психотерапевта
Из книги Роджера Пенроуза «Новый ум короля»
…Наиболее созвучна тесту Тьюринга компьютерная программа, разработанная К. М. Колби в середине 1960-х годов, которая имитирует психотерапевта - настолько успешно, что некоторые пациенты обнаружили готовность отдать ей предпочтение перед терапевтом-человеком и рассказать о себе больше, чем при общении с живым врачом. В качестве примера такого общения между компьютерным «психотерапевтом» и пациентом приведем следующий отрывок из диалога (который велся посредством телетайпа):
Терапевт: Чем я могу помочь вам?
Пациент: Я не знаю…
Терапевт: Попробуйте рассказать что-нибудь об этом.
Пациент: Нет.
Терапевт: Можно узнать причину?
Пациент: Я сегодня устал и неважно себя чувствую.
Терапевт: Почему? Есть у вас на этот счет какие-нибудь предположения?
Пациент: Да… Я стар.
Терапевт: Пожалуйста, продолжайте.
Пациент: Мне кажется, что я потерял интерес ко всему происходящему.
Терапевт: Расскажите мне подробнее о ваших ощущениях.
Пациент: У меня есть кое-какие соображения по этому поводу…
Терапевт: У вас есть соображения.
Пациент: Я думаю, что мне недостает семьи.
Терапевт: Что заставляет вас переживать из-за того, что вам недостает семьи?
Пациент: В этом есть какой-то вызов…
Терапевт: Почему это так важно для вас?
Хотя этот диалог может вызвать странное ощущение понимания проблемы пациента компьютером, ничего подобного на самом деле нет: компьютер просто следует довольно простым механическим правилам. (Есть также и «обратная» ситуация, реализованная в системе, где компьютер, имитирующий страдающего шизофренией человека, дает хрестоматийные ответы и симулирует соответствующие симптомы, способные одурачить некоторых студентов-медиков и заставить их поверить в то, что с ними беседует настоящий живой пациент!)
Итак сегодня мы поговорим о самом известном тесте для оценки говорящего бота - это тест Тьюринга.
Тест Тьюринга - эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить.
Стандартное звучание закона: «Если компьютер может работать так, что человек не в состоянии определить, с кем он общается - с другим человеком или с машиной, - считается, что он прошел тест Тьюринга»
Разумные, подобные человеку машины на протяжении многих десятилетий были одной из основных тем научно-фантастических произведений. С момента зарождения современной вычислительной техники умы людей занимал вопрос: можно ли построить машину, которая могла бы в чем-то заменить человека. Попыткой создать твердую эмпирическую почву для решения этого вопроса и стал тест, разработанный Аланом Тьюрингом.
Первый вариант теста, опубликованный в 1950 году, был несколько запутанным. Современная версия теста Тьюринга представляет собой следующее задание. Группа экспертов общается с неизвестным существом. Они не видят своего собеседника и могут общаться с ним только через какую-то изолирующую систему - например, клавиатуру. Им разрешается задавать собеседнику любые вопросы, вести разговор на любые темы. Если в конце эксперимента они не смогут сказать, общались ли они с человеком или с машиной, и если на самом деле они разговаривали с машиной, можно считать, что эта машина прошла тест Тьюринга.
Существуют, по крайней мере, три основных варианта теста Тьюринга, два из которых были предложны в статье «Вычислительные машины и разум», а третий вариант, по терминологии Саула Трейджера (Saul Traiger), является стандартной интерпретацией.
Наряду с тем, что существует определенная дискуссия, соответствует ли современная интерпретация тому, что описывал Тьюринг, либо она является результатом неверного толкования его работ, все три версии не считаются равносильными, их сильные и слабые стороны различаются.
Имитационная игра
Тьюринг, как мы уже знаем, описал простую игру для вечеринок, которая включает в себя минимум трех игроков. Игрок А - мужчина, игрок В - женщина и игрок С, который играет в качестве ведущего беседу, любого пола. По правилам игры С не видит ни А, ни В и может общаться с ними только посредством письменных сообщений. Задавая вопросы игрокам А и В, С пытается определить, кто из них - мужчина, а кто - женщина. Задачей игрока А является запутать игрока С, чтобы он сделал неправильный вывод. В то же время задачей игрока В является помочь игроку С вынести верное суждение.
В той версии, которую С. Г. Стеррет (S. G. Sterret) называет «Первоначальный тест на основе имитационной игры» (Original Imitation Game Test), Тьюринг предлагает, чтобы роль игрока А исполнял компьютер. Таким образом, задачей компьютера является притвориться женщиной, чтобы сбить с толку игрока С. Успешность выполнения подобной задачи оценивается на основе сравнения исходов игры, когда игрок А - компьютер, и исходов, когда игрок А - мужчина. Если, по словам Тьюринга, «ведущий беседу игрок после проведения игры [с участием компьютера] выносит неверное решение так же часто, как и после проведения игры с участием мужчины и женщины», то можно говорить о том, что компьютер разумен.
Второй вариант предложен Тьюрингом в той же статье. Как и в «Первоначальном тесте», роль игрока А исполняет компьютер. Различие заключается в том, что роль игрока В может исполнять как мужчина, так и женщина.
«Давайте рассмотрим конкретный компьютер. Верно ли то, что модифицируя этот компьютер с целью иметь достаточно места для хранения данных, увеличивая скорость его работы и задавая ему подходящую программу, можно сконструировать такой компьютер, чтобы он удовлетворительно выполнял роль игрока А в имитационной игре, в то время как роль игрока В выполняет мужчина?», - Тьюринг, 1950, стр. 442.
В этом варианте оба игрока А и В пытаются склонить ведущего к неверному решению.
Главной мыслью данной версии является то, что целью теста Тьюринга является ответ не на вопрос, может ли машина одурачить ведущего, а на вопрос, может ли машина имитировать человека или нет. Несмотря на то, что идут споры о том, подразумевался ли этот вариант Тьюрингом или нет, Стеррет считает, что этот вариант Тьюрингом подразумевался и, таким образом, совмещает второй вариант с третьим. В это же время группа оппонентов, включая Трейджера, так не считает. Но это все равно привело к тому, что можно назвать «стандартной интерпретацией». В этом варианте игрок А - компьютер, игрок В - человек любого пола. Задачей ведущего является теперь не определить кто из них мужчина и женщина, а кто из них компьютер, а кто - человек.
Тьюринг в 2012
Для организации мероприятий по празднованию в 2012 году столетия со дня рождения Тьюринга создан специальный комитет, задачей которого является донести мысль Тьюринга о разумной машине, отраженную в таких голливудских фильмах, как «Бегущий по лезвию», до широкой публики, включая детей. В работе комитета участвуют: Кевин Ворвик, председатель, Хьюма Ша, координатор, Ян Бланд (Ian Bland), Крис Чапмэн (Chris Chapman), Марк Аллен (Marc Allen), Рори Данлоуп (Rory Dunlop), победители конкурса на получение премии Лёбнера Робби Гарне и Фред Робертс (Fred Roberts). Комитет работает при поддержке организации «Женщины в технике» (Women in Technology) и Daden Ltd.
