ПЛАН.
1. Введение.
2. Феномен мышления.
3. Создание искусственного интеллекта.
3.1 Механический подход.
3.2 Электронный подход.
3.3 Кибернетический подход.
3.4 Нейронный подход.
3.5 Появление перцептрона.
4. Заключение.
5. Список литературы.
1. ВВЕДЕНИЕ.
Современные философы и исследователи науки часто рассматривают междисциплинарные науки как одно из достижений заново открытых в 20 веке.
Искусственный Интеллект и искусственная жизнь представляет прекрасный пример такой интеграции многих научных областей.
К сожалению, жизнь слишком сложна, чтобы можно было наметить общие направления в исследованиях. Доказательством может служить тот факт, что некоторые заинтересованы в исследовании «систем, демонстрирующих феномены живых систем», другие изучают природу химического репродуцирования или пытаются решить философские проблемы самопознания.
В понятие «искусственный интеллект» вкладывается различный смысл – от признания интеллекта у ЭВМ оснащенных программными продуктами распознавания текста и речи до отнесения к интеллектуальным лишь тех систем, которые решают весь комплекс задач, осуществляемых человеком.
Теория искусственного интеллекта при решении многих задач сталкивается с определёнными проблемами. Одна из таких проблем состоит в выяснении вопроса, доказуема ли теоретически (математически) возможность или невозможность искусственного интеллекта.
На этот счёт существуют две точки зрения. Одни считают математически доказанным, что ЭВМ в принципе может выполнить любую функцию, осуществляемую естественным интеллектом. Другие полагают в такой же мере доказанным математически, что есть проблемы, решаемые человеческим интеллектом, которые принципиально недоступны ЭВМ. Эти взгляды высказываются как кибернетиками так и философами. Одна из многих проблем (можно сказать основная) состоит в том, что системы, обладающие психикой, отличаются от ЭВМ тем, что им присущи биологические потребности.
Отражение внешнего мира проходит через призму этих потребностей, в чем выражается активность психической системы. ЭВМ не имеет потребностей, для неё информация незначима, безразлична. У человека над слоем биологических потребностей надстраиваются социальные потребности, и информация для него не только биологически но социально значима. Однако технические системы все-таки могут иметь аналог телесной организации. Развитая кибернетическая система обладает рецепторными и эффекторными придатками. На практике под крышей термина искусственная жизнь гнездится грандиозное разнообразие различных проектов от моделей копирования ДНК и систем с обратной связью до изучения коллективного разума и динамики роста населения.
2. ФЕНОМЕН МЫШЛЕНИЯ.
Машины уже научились слагать стихи, сочинять музыку, рисовать картины. Возможно, кому-то покажется, что это – несомненный признак их разумности. Ведь если ЭВМ доступно творчество, которое всегда считалось свойством высокого интеллекта, то справедливо ли отказывать ей в разуме?
Всё же большинство из нас едва ли согласятся считать рисующую и сочиняющую стихи ЭВМ мыслящей. Что же тогда следует называть мышлением?(2)
Далёкому от науки человеку трудно себе представить, как много умеют делать современные кибернетические устройства. Стоит хотя бы упомянуть о так называемых «экспертных системах», которые на основе имеющихся в их памяти сведений анализируют состояние больного, режим технологического процесса, дают советы, как поступить в той или иной ситуации. При этом ЭВМ не только сообщает своё решение, но и объясняет, почему оно должно быть таковым. По сравнению с электронной памятью, выдачей архивных справок и математическими вычислениями, что сегодня у большинства людей ассоциируется сегодня с образом компьютера, это – качественно новая ступень интеллектуальной деятельности, когда на основе имеющегося вырабатывается новое знание. До сих пор это считалось неоспоримой привилегией человеческого мозга. Неудивительно, что тому, кто впервые встречается с подобными системами, часто просто не верится, что он имеет дело с «железной ЭВМ», а не со спрятавшимся где-то оператором-человеком.
Способность ЭВМ выполнять математические расчеты, к чему мы привыкли, ещё совсем недавно рассматривалась как одна из самых высших ступеней духовной деятельности человека. Комплексные числа, с которыми легко оперирует почти любая ЭВМ, Г.Лейбниц, сам выдающийся математик, называл «духовными амфибиями», удивительным «порождением духа Божьего», а писатель В.Одоевский в своей «Русской речи» писал о нашей способности к вычислениям как о каком-то непостижимом, почти мистическом свойстве: При всяком математическом процессе мы чувствуем, как к нашему существу присоединяется какое-то другое, чужое, которое трудится, думает, вычисляет, а между тем наше истинное существо как бы перестаёт действовать, не принимая никакого участия в этом процессе, как в деле постороннем, ждёт своей собственной пищи, а именно связи, которая должна существовать между ним и этим процессом, - и этой связи мы не находим».
Можно представить, как был бы поражён Одоевский, узнав о вычислительных способностях наших ЭВМ! Тем не менее, мы не считаем их думающими.
Любая вычислительная машина, каким бы поразительным ни было её «умение» обучаться, работает на основе заранее составленной для неё программы и поступающих внешних данных. Правда, мы, люди, тоже реализуем определенные программы действий, особенно в первые месяцы жизни, когда наше поведение почти целиком определяется заложенной в нас генетической программой. Однако принципиальное различие в том, что человек способен мотивированно, т.е. в зависимости от определённых условий, изменять программу и делает это так, что между Сарой и новой программами нет непрерывного логического мостика. Как это происходит, тоже пока не ясно, тут много споров и различных точек зрения, но это уже другой вопрос, важно, что современные вычислительные машины этим свойством не обладают. Вот если бы случилось так, что какая-то ЭВМ, решившая, скажем задачи по электромагнетизму и квантовой механике, объединила бы эти два раздела науки и вывела уравнения квантовой электродинамики, а потом с их помощью предсказала бы новые явления в этой неизвестной ей ранее области, тогда, наверное, мы были бы в праве назвать её думающей. И прежде всего потому, что она сама, без всякой программной подсказки, решила заняться качественно новой задачей. Слово «решила» как раз и означает, что она мыслит.
Всякая интеллектуальная задача представляет собой поиск способа достижения поставленной цели, а иначе это будет не решением задачи, а просто действием по точной инструкции.
Когда мы говорим, что школьник решает задачу, это означает прежде всего, что он должен сообразить, какую взять для этого формулу, какие подставить в неё числа. Однако, если он, заглядывая в тетрадь соседа, подставляет указанные там числа в написанную на доске формулу, это уже не решение, а механическое повторение. Именно так ведут себя современные ЭВМ. Строго говоря, никаких задач они не решают, и часто используемое нами выражение «ЭВМ решает» имеет условный смысл…
Способность ставить задачу и самопрограмироваться на её решение – это как раз и есть главное, что характеризует феномен мышления.
Можно возразить данному утверждению, отметив, что и рыбы, и примитивные амёбы в погоне за добычей, тоже ставят себе задачи, изменяющиеся в зависимости от конкретных условий, значит – и они мыслят?
Это могут быть примитивные формы мышления, ведь объяснить поведение животных во всём многообразии жизненных ситуаций одним лишь инстинктом – это гипотеза.(2)
Животным и птицам присуще такое свойство мышления, как способность к обобщению. Например, они узнают пищу в различных конкретных формах, так сказать – пищу вообще.
Наше обыденное понимание разумного слишком очеловечено, и, подобно тому, как в XIX веке многим казалась нелепой сама мысль о преемственной связи между человеком и обезьяной сегодня многих из нас смущает мысль о возможности нечеловеческого интеллекта. В частности, сами того не замечая, мы часто связываем представление о мышлении со способностью осознавать своё собственное «я», и это мешает нам более широко взглянуть на феномен мышления. Правда, связь между мышлением и чувством «я», по-видимому, действительно существует. Можно думать, что в условиях прихотливо изменяющейся внешней обстановки сложная система будет устойчивой лишь в том случае, если она обладает способностью ощущать своё состояние, а в этом и состоит суть нашего «я». Анализ показывает, что подобное чувство необходимо уже многим роботам-автоматам. Ведь робот, да и вообще всякая сложная самообучающаяся и активно общающаяся с человеком машина должна сообщать ему о состоянии своей памяти, о том, что ей понятно, а что – нет и почему. А для этого автомат должен ощущать и быть способным выразить своё состояние. Это нужно роботу и для того, чтобы вовремя заметить неполадки в своём «организме». Не осознающий себя робот едва ли сможет долго просуществовать в сложной, быстро меняющейся и воздействующей на него обстановке.
3.СОЗДАНИЕ ИСКУССТВЕННОГО ИНТЕЛЛНКТА.
С конца 40-х годов ученые все большего числа университетских и промышленных исследовательских лабораторий устремились к дерзкой цели: построение компьютеров, действующих таким образом, что по результатам работы их невозможно было бы отличить от человеческого разума.
Терпеливо продвигаясь вперед в своем нелегком труде, исследователи, работающие в области искусственного интеллекта (ИИ), обнаружили, что вступили в схватку с весьма запутанными проблемами, далеко выходящими за пределы традиционной информатики. Оказалось, что прежде всего необходимо понять механизмы процесса обучения, природу языка и чувственного восприятия. Выяснилось, что для создания машин, имитирующих работу человеческого мозга, требуется разобраться в том, как действуют миллиарды его взаимосвязанных нейронов. И тогда многие исследователи пришли к выводу, что пожалуй самая трудная проблема, стоящая перед современной наукой - познание процессов функционирования человеческого разума, а не просто имитация его работы. Что непосредственно затрагивало фундаментальные теоретические проблемы психологической науки. В самом деле, ученым трудно даже прийти к единой точке зрения относительно самого предмета их исследований - интеллекта. Здесь, как в притче о слепцах, пытавшихся описывать слона, пытается придерживаться своего заветного определения.
Основной вопрос перед разработчиком – какому языку отдать предпочтение для создания ИИ? Мы рассмотрим популярные языки, используемые для создания ИИ.
Одно только лишь название «искусственный интеллект» может привести в ступор и навести немало страха как на обычного человека, так и заурядного программиста. Занятие действительно сложное, а красивые демонстрируемые примеры - это результат многотысячных строк кода. При всём этом создание ИИ может стать вполне реальной задачей, а в части случаев, даже несложной. Многие проекты требуют углублённых знаний ИИ, а также языков программирования.
Родоначальником языков программирования, на которых начал создаваться искусственный интеллект стал LISP . ЛИСП отличается гибкостью использования и простотой расширения функционала. Благодаря наличию возможности быстрого прототипирования и установки макросов удалось сократить уйму времени, это принесло много пользы в отношении ИИ.
LISP стал универсальным языком, который равно хорошо справляется с относительно тяжёлыми и лёгкими задачами. В нём устроена качественная и продвинутая система объектно-ориентированности , что и позволило занять одну из лидирующих позиций при разработке ИИ.
Наибольшим достоинством языка является многофункциональность, среди прочих:
Для новичков важным достоинством Java станет наличие многочисленных бесплатных уроков в сети. Обучение Java является максимально комфортным и удобным для большинства студентов и новичков.
Среди особенностей языка стоит выделить:
При создании проектов на Java пользователь сталкивается с более привлекательным и доступным интерфейсом, что всегда притягивает аудиторию.
Данный вариант относится к интерактивным языкам, которые работают по символической системе. Он популярен для использования в отношении проектов, требующих высокие логические способности. Язык имеет мощную и удобную основу, она активно используется в отношении программирования non-численного типа . На основании Prolog`а часто создаются доказательства теорем, проводится взаимодействие с понятным человеческим языком, используется для создания систем экспертной оценки.
Пролог относится к декларативным типам языка, которые используют формальное или образное «мышление ». Среди разработчиков ИИ приобрёл хорошую славу благодаря оптимальным обструкционным типам работы, встроенным алгоритмам анализа, недетерминизма и т.д. Всё в сумме можно описать так: Prolog - многофункциональная платформа для программирования ИИ.
Активно применяется в программировании благодаря чистому синтаксису и логическому, строгому грамматическому построению программы. Немаловажную роль играет и удобный дизайн.
В основе используются многочисленные структурные алгоритмы, бесчисленные фреймворки для отладки, оптимальным показателям взаимодействия низкого и высокого уровня написания кода. Все перечисленные достоинства обеспечивают должное влияние в сфере создания искусственного интеллекта.
Началом традиционного представления ИИ стал проект UNIMATE , который увидел мир в 1961 году . В ходе представления был впервые получен робот, который начал выпускаться в промышленных масштабах. Робот был задействован на линии производства в концерне «General Motors ». Для создания были задействованы Валь и переменные из среды ассемблера. Язык пришёлся по душе благодаря наличию простейших фраз, отражению команд на мониторе и наличию инструкций, не нуждающихся в дополнительных разъяснениях.
Спустя 4 года (1965 год ) был запущен искусственный интеллект « Dendral ». Задача системы заключалась в выявлении молекулярной и атомной структуре соединений органического происхождения. Для написания был использован LISP .
«Weizenbaum » в 1966 году запустил проект Элиза, который впервые предполагал проведение беседы с роботом. Самой известной моделью являлся «Доктор», который позволял отвечать на поставленные запросы в форме психотерапевта. Для реализации проекта потребовалось сопоставление нескольких образцов технического достижения своего времени. Впервые Элиза увидел мир на SPLIP, но для отработки списка запущен «Weizenbaum». Немногим позже проект переработан на другую платформу - LISP .
Первым роботом мобильного типа стал «Шеки », в его основе также лежал ЛИСП. Логика конструктора была построена на решении поставленных задач и передвижения, для взаимодействия использовались подъёмы вверх и вниз, а также включение и выключение света. С помощью «Шеки » удавалось открывать, закрывать, передвигать и т.д. Робот даже был способен передвигаться со скоростью равной спокойной ходьбе человека - 5 км/ч.
За последние 15 лет было представлено многочисленное количество изобретений: «Деннинг » (сторожевой робот), «Predator » (беспилотник), «АЙБО » (собака), «АСИМО » от Honda и многие другие. Тенденция идёт к развитию данного направления, чего и стоит ожидать в ближайшем и дальнем бедующем.
Вы когда-нибудь задумывались о том, насколько просто написать свой искусственный интеллект, который сам будет принимать решения в игре? А ведь это действительно просто. Пусть для начала он принимает случайные решение, но позже вы можете его воспитать, научить анализировать ситуацию, и тогда он станет принимать осознанные решения. В этой статье я расскажу, как я писал своего бота, а также покажу, как вы за несколько минут можете написать своего. Наш компьютер будет играть в клон игры Трон , а точнее в ту часть, где нужно на мотоцикле победить врагов.
Под катом gif-файлов мегабайт на 10.
Когда я решил написать бота, я понятия не имел, как это можно сделать. Я попробовал очень простой код:
BotSocket.prototype.update = function() {
var r = Math.random();
if (r > 0.95) {
this.control({"button": "right"});
} else if (r >
Поведение было примерно таким:
Я смотрел на него и испытывал большую радость, мне казалось, что он теперь самостоятельный. Казалось, что он сам ищет попытки выжить, бьётся там, как живой. Трогательное зрелище.
Но хотелось, чтобы он жил как можно больше. Я стал искать информацию о том, как пишут ИИ к играм. Нашел статьи , которые описывали разные подходы. Но я искал что-то чрезвычайно простое. Я нашел на хабре в одной из статей про бота для игры вроде Zuma упоминание волнового метода . Он же алгоритм Ли. Мне он показался очень простым и подходящим. Это алгоритм поиска кратчайшего пути из одной точки в другую по полю, где клетки могут быть либо свободными, либо занятыми. Суть простая. Мы начинаем из точки назначения, присваиваем ей значение 1 и помечаем все соседние свободные клетки цифрой на единицу больше. Затем берём все соседние свободные помеченных и снова помечаем на единицу больше. Так расширяемся на всё поле, пока не дойдем до точки назначения. А путь строим поиском из соседних по уменьшению числа, пока не дойдем до 1. Я смотрел алгоритмы поиска кратчайших путей в графах, но этот мне показался наиболее подходящим.
Я перенёс алгоритм копипастой из страницы в вики, дал ему имя BotSocket.prototype.algorithmLee . Для поля я создал сначала объект battleground , в котором при каждом обновлении помечал занятые точки с их координатами. А в алгоритме Ли сводил это поле к такому же, но с шагом 1.
Нужно было как-то определять точку назначения. Я решил выбирать её случайно через определенные интервалы времени. Сделал метод для поиска случайной свободной точки на поле:
BotSocket.prototype.getDesiredPoint = function() {
var point = ;
var H = Object.keys(this.battleground).length - 1;
var W = Object.keys(this.battleground).length - 1;
var x, y, i, j;
var found = false;
var iter = 0;
do {
i = this.getRandomInt(1, W);
j = this.getRandomInt(1, H);
x = i * this.moveStepSize;
y = j * this.moveStepSize;
if (this.battleground[x][y] === this.BG_EMPTY) {
found = true;
}
iter++;
} while (!found && iter < 100);
point = ;
return point;
};
Теперь я мог переписать update:
BotSocket.prototype.update = function() {
if (!this.desiredPoint || this.movements % this.updDestinationInterval === 0) {
this.desiredPoint = this.getDesiredPoint();
}
if (!this.desiredPoint) {
return;
}
var currentPoint = ;
var path = this.algorithmLee(currentPoint, this.desiredPoint);
if (path && typeof path !== "undefined") {
this.moveToPoint(path);
} else {
this.desiredPoint = this.getDesiredPoint();
}
};
Здесь упоминается метод moveToPoint
, который поворачивает, если нужно, чтобы достигнуть первую точку из кратчайшего пути с учётом текущего направления.
Позже я решил сделать ботов более агрессивными и вместо случайной желаемой точки, я искал точку впереди врагов, чтобы перекрыть им путь. Или чтобы они не играли так долго сами с собой.
Долго думая, я понял, что дело в задержке. Бот отправлял команду поворота, но она доходила после обновления его позиции на сервере, отчего он часто не мог попасть на прямой путь к желаемой точке. Но я хотел нормального бота на клиентской стороне. Поэтому решил учитывать задержку. Для этого написал снова расширение BotSocket. Статья получается длинной, так что опишу основные решения. Перед вызовом алгоритма Ли вместо текущей точки я подставлял прогнозируемое положение с учетом текущего положения и направления, а так же множителя задержки. Множитель задержки – это число, во сколько раз превосходит задержка частоту обновления положения на сервере. Предсказание будущей точки мне еще понадобилось в методе moveToPoint() .
Предсказание работало, если играл один. Но если были другие участники, то бот не учитывал это и направлял туда, где через некоторое время уже проехал другой игрок. Для решения этой проблемы я изменил метод, который помечает клетки поля занятыми. Я стал их помечать занятыми в некотором радиусе движения мотоциклов. Радиус зависит от множителя задержки.
Предварительно я снабдил бота функциями отладки, который рисовали на поле желаемую точку и занятые точки. Моя версия клиентского бота с учетом задержки теперь двигается так:
Мой красненький, остальные серверные.
Если вы определились с методом ввода вашего кода, попробуйте переопределить методы класса BotSocket
. Для начала самое простое:
BotSocket.prototype.update = function() {
var r = Math.random();
if (r > 0.95) {
this.control({"button": "right"});
} else if (r > 0.90) {
this.control({"button": "left"});
}
}
После этого пересоздайте объект botSocket, введя
botSocket = null;
При этом код на странице сам пересоздаст и заполнит объект. Этим вы измените стандартное поведение бота на случайное. А дальше уже дело для вашей фантазии или глубоких знаний.
Вы так же можете подключить скрипт моего улучшенного бота с учетом задержки, вставив в url для бота https://raw.github.com/rnixik/tronode-js/master/public/javascripts/MyBotSocketClient.js
Если у вас нет под рукой node.js, вы можете воспользоваться развернутыми мной приложениями:
1) tronode.livelevel.net - самая дешевая VPS на DigitalOcean,
2) tronode-js.herokuapp.com - бесплатная виртуальная единица на Heroku.
Первый, скорее всего, первым может не справиться с нагрузкой, а второй на некоторых компьютерах сбрасывает socket.io-транспорт в xhr-polling, из-за этого игра очень сильно лагает.
Если вы хотите узнать больше, о том, как я программировал игровую логику, то можете прочитать . Там же о развертке node.js и немного о графической части.
Если у вас нет аккаунта на хабре, то задать вопросы или прислать свои интересные предложения можете мне на почту [email protected].
Теги: Добавить метки
Машины, воспроизводящие мозг человека или животных, будут способны к самообучению
Не воплощая эмоциональные механизмы в ИИ, мы не используем возможности быстрого принятия решений. В результате роботизированные системы или системы искусственного интеллекта оказываются нежизнеспособными в условиях реального мира. При этом мы частично воплощаем в технике те или иные эмоциональные механизмы, но называем их по-другому, например, переключение внимания – приоритизацией и перераспределением вычислительных ресурсов.
Просто выходя на улицу, мы принимаем громадное количество решений: повернуть голову в сторону громкого звука или не поворачивать; переходить ли улицу или не переходить, если там едут автомобили? Эти решения принимаются сознательно и бессознательно, процессы носят эмоциональную окраску и вовлекают множество структур мозга. Как результат, эмоции (нейромодуляторы) сильно влияют на мыслительный процесс, другими словами, на вычислительные функции нейронов.
Было замечено, что в мозгу присутствуют так называемые контуры (Circuits). Например, основной таламо-кортикальный контур выглядит так: кора мозга влияет на подкортикальные структуры: таламус, полосатое тело и так далее вызывая положительную или отрицательную эмоциональную обратную связь, которая, в свою очередь, влияет на кору. Другими словами сознательные процессы влияют на неосознанные эмоциональные процессы, и эмоциональные процессы влияют на осознанные - мы постоянно находимся в эмоциональном цикле.
Марвин Мински (пионер в области ИИ и лауреат премии Тьюринга) заметил что эмоциональные циклы могут приводить к длительной «зацикленности». Он называет их «багом», то есть ошибкой: мы можем воспроизводить периодически то или иное эмоциональное состояние. Например, когда мы находимся в депрессии: неоднократно задаемся вопросом «Почему он так ужасно поступил со мной? Это совершенно несправедливо». Или, наоборот, мы воспроизводим эйфорическое состояние: если вы ездили на мотоцикле, то вы все время вспоминаете, как вам «классно» ездить на мотоцикле, просто потому, что вам это нравится. И в действительности вы уже не едете на мотоцикле, а просто вспоминаете это и находитесь в этом цикле.
В работе по интеграции эмоций в ИИ стоит выделить два направления, которые очень тесно связаны. Во-первых, определение эмоций человека по его лицу, жестикуляции и так далее (Affective computing). Это направление, которое очень интенсивно развивается в Соединенных Штатах под руководством Розалинд Пикард в MIT Media Lab. В 1997 году Пикард опубликовала свою книгу Affective Computing, послужившую отправной точкой исследований. В ее лаборатории проводятся интересные эксперименты: участники закрепляют камеры перед собой, с некой периодичностью снимают выражения лиц и одновременно собирают данные в динамике: проводимость кожи, пульс, давление и так далее, ассоциируя эмоциональную реакцию и показания нательных датчиков.
Другое направление, которым в том числе и мы занимаемся (лаборатория машинного понимания ИТИС КФУ), - Affective computation, это воспроизведение человеческих эмоций в вычислительных системах. У машин нет нейронов, нет нейромодуляторов, нет биохимии, есть только вычислительные процессы. Соответствие между вычислительными процессами и мыслительными далеко не линейно. Приходится создавать достаточно сложные теории, чтобы понять, из чего, в целом, собираются те или иные психологические феномены и как мы можем воспроизвести это в вычислительных системах.
На сегодняшний день создана нейробиологически инспирированная не-фон-Неймановская архитектура TrueNorth (фон-Неймановская - архитектура обычных компьютеров). Она закладывает основы для нового пути развития вычислительных систем: воссоздания нейронных сетей не с помощью программного обеспечения, а в виде микросхем, «железа». Новые микросхемы моделируют до миллиона нейронов. Специалисты из IBM пошли дальше: они уже создали материнскую плату, в которой собрали массив 4х4, всего 16 млн нейронов.
С одной стороны, это не так много, ибо количество нейронов в коре человеческого мозга от 19 млрд до 23 млрд, а общий объем - 86 млрд. С другой стороны, это уже интересные масштабы. Например, в коре головного мозга мыши - млекопитающего, у которого есть весь необходимый эмоциональный багаж, - только 4 млн нейронов.
Еще интереснее посмотреть на историческую перспективу: в 2011 году у той же IBM была микросхема, которая воспроизводила всего 256 нейронов. Таким образом, произошел скачок на три порядка. Если будет следующий скачок, то, мы сможем выйти на масштабы коры человеческого мозга. И тогда, возможно, появятся самообучающиеся системы сравнимые по мощности с человеческим мозгом.
Что дают самообучающиеся системы? Мы не программируем мышей, котят, мы не программируем детей. Потому что это не нужно. Такие вычислительные системы (искусственные агенты) не будут нуждаться в программировании в его нынешнем понимании. К ним нужно будет применять совершенно другие техники, известные педагогам детских садов и школ. Таким образом, мы подходим к концепции детства для агентов искусственного интеллекта, что открывает принципиально новые перспективы для развития ИИ.
Максим Таланов
кандидат технических наук, руководитель Лаборатории Машинного Понимания Казанского федерального университета, преподаватель Университета Иннополис
forbes.ru
| Комментарии: 1 |
Сэм Харрис
Стоит ли бояться сверхразумного искусственного интеллекта? Нейробиолог и философ Сэм Харрис считает, что очень даже стоит. По его мнению, мы стоим на пороге создания сверхразумных машин, при этом не решив множество проблем, которые могут возникнуть при создании ИИ, который потенциально сможет обращаться с людьми так же, как те с муравьями.
Михаил Бурцев
Почему за полвека усилий не удалось создать искусственный интеллект? И как киборги помогают понять работу мозга? Об этом рассказывает Михаил Бурцев, кандидат физико-математических наук, руководитель лаборатории нейронных систем и глубокого обучения МФТИ.
Виталий Дунин-Барковский
Как смоделировать мозг? Постижим ли человеческий мозг? Как алгоритмизировать сознание? И можно ли скопировать его на неорганический носитель? Ответы на эти вопросы помогает найти Виталий Дунин-Барковский, доктор физико-математических наук, профессор, заведующий отделом нейроинформатики Центра оптико-нейронных технологий НИИСИ РАН.
Иван Иванчей
Когнитивная психология с самого начала своей истории описывала человека как вычислительную машину. Иван расскажет о ключевых моментах развития этого пути исследования человека, к чему он привёл на сегодняшний день и как учёные моделируют такие таинственные и, как кажется, присущие только человеку процессы, как интуиция, предвидение, инсайт и уверенность.
Горбань А. Н.
Игрушка ли нейрокомпьютер? В чем истинные преимущества нейрокомпьютеров? В каких областях преимущества нейронных систем наиболее очевидны? Избыточность - это хорошо или плохо? Какие задачи под силу только нейрокомпьютеру?
Евгений Путин
Евгений Путин, аспирант кафедры «Компьютерные Технологии» университета ИТМО. В рамках диссертации Евгений исследует проблемы интеграции концепции выбора признаков в математический аппарат искусственных нейронных сетей. Евгений расскажет о том, как устроены нейронные сети, что они могут делать сейчас, на что будут способны в недалеком будущем и ждать ли прихода Скайнета.
Впервые был достигнут масштаб, соответствующий человеческому мозгу - 530 миллиардов нейронов и 137 триллионов синапсов. Симуляция происходила в 1542 раза медленнее реального времени. В ней были задействованы все 1 572 864 ядер и полтора петабайта памяти.
У архитектуры фон Неймана есть один известный минус, который состоит в том, что и данные, и программы-инструкции, описывающие то, что нужно сделать с данными, находятся в одной и той же памяти. И процессор либо собирает данные из памяти, либо манипулирует ими в соответствии с командой. Одновременно подгружать новые данные и обрабатывать их в рамках такой схемы нельзя. Из-за этого современным компьютерам, сколь бы быстры они ни были, трудно выполнять некоторые задачи, например, связанные с распознаванием изображений. Пытаясь выйти за пределы архитектуры фон Неймана, специалисты по «электронным мозгам» обратились к мозгам настоящим.
Сергей Марков
На лекции мы обсудим вторую весну искусственного интеллекта в цифрах и фактах, ключевые работы в области искусственного интеллекта и машинного обучения в 2017 году. Поговорим о распознавании изображений, речи, обработке естественного языка и о других направлениях исследований; обсудим новые модели и оборудование 2017 года. Также поговорим о применении ИИ и машинного обучения в бизнесе, медицине и науке, а также обсудим, чего мы ждем от искусственного интеллекта и машинного обучения в 2018 году.
Сергей Марков
Гамбургский счет
В 1950 году английский ученый Алан Тьюринг в статье "Вычислительные машины и разум" задался вопросом: "Может ли машина понимать человека?". Так родился знаменитый тест Тьюринга, в котором компьютер пытался обмануть людей. Но как компьютер понимает человека и чего он пока понять не может? Об этом по гамбургскому счету мы решили спросить специалиста в области машинного обучения, директора информационных технологий компании "Activebusinesscollection" Сергея Маркова.
П.В. Казаков, В.А. Шкаберин
ОСНОВЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
1. ВВЕДЕНИЕ В ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
Искусственный интеллект (ИИ) является одним из приоритетных направлений в современной информатике, связанным с созданием следующей ступени ее развития – новых информационных технологий. Их цель – свести к минимуму участие человека как программиста при создании информационных систем, но привлекать его в качестве учителя, партнера человеко-машинной системы. Однако нельзя понимать термин «искусственный интеллект» буквально. Правильнее его воспринимать как некоторое метафорическое наименование совокупности методов, реализация которых на компьютере по- зволяет получать результаты близкие к порождаемым человеческим мышлением.
1.1. Некоторые понятия искусственного интеллекта
Идея создания искусственного интеллекта связана с постоянным стремлением человека переложить решение сложных задач на механического, затем электронного помощника. Единственный способ реализовать это заключается в моделировании с помощью различных средств интеллектуальных способностей человека.
Здесь под интеллектом следует понимать способность мозга решать задачи путем приобретения, запоминания и целенаправленного преобразования знаний в процессе обучения на опыте и адаптации к разнообразным условиям .
Искусственный интеллект (Artificial Intelligence, AI) как научное направление существует с 1956 года, когда британский математик Алан Тьюринг опубликовал свою статью «Can the Machine Think ?» («Может ли машина мыслить?»). Также он предложил тест проверки программы на интеллектуальность. Он состоял в следующем: организовывалось «общение» между человеком и компьютерной программой, которые размещались в разных комнатах, и до тех пор, пока исследователь не определял, кто за стеной – человек или программа, поведение последней считалось интеллектуальным . Исходя из этого, Тьюринг предложил следующий критерий интеллектуальности программы: «Если поведение вычислительной машины, отвечающей на вопросы, невозможно отличить от поведения человека, отвечающего на аналогичные вопросы, то она обладает интеллектом».
В настоящее время существует три основные точки зрения на цели и задачи исследований в области искусственного интеллекта . Согласно первой, исследования в этой области относятся к фундаментальным, в процессе которых разрабатываются новые модели и методы решения задач, традиционно считавшихся интеллектуальными и не поддававшихся ранее формализации с помощью классических алгоритмических методов, а также автоматизации. Интеллект и мышление непосредственно связаны с решением таких задач, как доказательство теорем, логический анализ, распознавание ситуаций, планирование поведения, управление в условиях неопределенности и т.п. Характерными чертами интеллекта, проявляющимися в процессе решения подобных задач, являются способность к обучению, обобщению, накоплению опыта и адаптации к изменяющимся условиям в процессе решения задач. Из-за этих качеств интеллекта мозг может решать разнообразные задачи, а также легко перестраиваться с решения одной задачи на другую. Таким образом, мозг, наделенный интеллектом, является универсальным средством решения широкого круга задач (в том числе плохо формализованных), для которых нет стандартных, заранее известных методов решения. Согласно второй точке зрения, это направление связано с новыми идеями решения задач на ЭВМ, с разработкой новых технологий программирования и с переходом к компьютерам с отличной от фон-неймановской архитектурой. Так, в качестве основы для таких систем предлагаются различные подходы на основе искусственный нейронных сетей, моделирующих наиболее общие принципы работы головного мозга . Для таких моделей характерны легкое распараллеливание алгоритмов и связанная с эти высокая производительность, а также возможность работать даже при условии неполной информации об окружающей среде. Третья точка зрения основана на том, что в результате исследований, проводимых в области ИИ, появляется множество прикладных систем, способных решать задачи, для которых ранее создаваемые системы были непригодны.
Обобщая изложенное, будем определять искусственный интеллект как научное направление, задачи которого связаны с разработкой методов моделирования отдельных функций интеллекта человека с помощью программно-аппаратных средств ЭВМ.
Исторически сложились три основных подхода к проведению исследований в области искусственного интеллекта.
Первый подход (машинный интеллект) в качестве объекта исследования рассматривает именно искусственный интеллект и состоит в моделировании внешних проявлений интеллектуальной деятельности человека с помощью средств ЭВМ. В основе его лежит тезис о том, что машина Тьюринга является теоретической моделью мозга, поэтому главное направление работ связано с созданием алгоритмического и программного обеспечения ЭВМ, позволяющих решать интеллектуальные задачи не хуже человека. Примером может служить шахматная программа, проявление интеллектуальности которой состоит в поиске игровой тактики, близкой к человеческой. Однако достигается это исключительно путем высокой скорости вычислений, в то время как у человека — благодаря высокоэффективному мышлению.
Как известно, человеческий мозг оперирует непрерывной информацией, где каждая мысль существует только внутри своего контекста. Знания хранятся в форме образов, которые часто трудно выразить словами. При этом сами образы характеризуются нечеткостью и размытостью, а обработка информации — небольшой глубиной и высоким параллелизмом. Все это свидетельствует о существенном различии с принципами машины Тьюринга и как следствие требует другого некомпьютерного подхода к моделированию интеллектуальных процессов.
Второй подход (искусственный разум) рассматривает данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности и разумного поведения человека.
Он стремится воспроизвести эти механизмы с помощью программно-аппаратных средств. Развитие этого направления тесно связано с успехами наук о человеке, в первую очередь нейронаук (нейробиологии, генетики и т.п.).
Третий подход ориентирован на создание смешанных человекомашинных интеллектуальных систем как симбиоз возможностей естественного и искусственного интеллекта. Важнейшими проблемами в этих исследованиях являются оптимальное распределение функций между естественным и искусственным интеллектом, организация диалога между человека и машиной.
Каждое из отмеченных направлений включает целый ряд разделов, к основным из которых можно отнести разработку систем, основанных на знаниях, анализ естественного языка и общения с ЭВМ, распознавание образом, анализ речи, создание адаптивных систем, игры и машинное творчество и др. . В свою очередь, реализация подобных систем может быть выполнена на основе таких технологий ИИ, как представление и обработка знаний, эвристическое программирование, искусственные нейронные сети, эволюционные алгоритмы, нечеткие множества и др.
К настоящему времени разработано целое множество программный систем, в которых реализованы те или иные технологии ИИ. Такие системы принято называть интеллектуальными системами. К первой из подобных систем относят программу «Логик-Теоретик» (А. Ньюэлл, А. Тьюринг и др.), предназначенную для доказательства теорем исчисления высказываний.
Под интеллектуальной системой будем понимать адаптивную систему, позволяющую строить программы целенаправленной деятельности по решению поставленных перед ними задач на основании конкретной ситуации, складывающейся на данный момент в окружающей их среде . В свою очередь, адаптивная система может быть охарактеризована как система, которая сохраняет работоспособность при непредвиденных изменениях свойств управляемого объекта, целей управления или окружающей среды путем смены алгоритма функционирования, программы поведения или поиска оптимальных, в некоторых случаях просто эффективных, решений и состояний. Традиционно, по способу адаптации различают самонастраивающиеся, самообучающиеся и самоорганизующиеся системы. К сфере решаемых интеллектуальными системами задач относятся задачи, обладающие, как правило, следующими особенностями:
Разработка интеллектуальных систем, как правило, ведется в рамках одного или нескольких направлений ИИ, которых в настоящее время существует целое множество. Ниже кратко рассматриваются основные из них .
1.2. Основные направления исследований в области искусственного интеллекта
Разработка систем, основанных на знаниях. Является одним из главных направлений в искусственном интеллекте. Основной целью создания таких систем является выявление, исследование и применение знаний специалистов для решения различных практических задач. Обычно такие знания формализуются в виде некоторой системы правил. В этой области исследований осуществляется разработка моделей извлечения, представления и структуризации знаний с учетом их компьютеризации в виде базы знаний. Примеры практических разработок подобных систем обычно ассоциируются с экспертными системами.
Разработка систем общения на естественном языке и машинного перевода. Является наиболее важной с точки зрения перехода на новый качественный уровень взаимодействия с компьютером. Попытки создания подобных систем предпринимались с 1950-х годов 20 в. Основу систем машинного перевода составляет классификация грамматических правил и приемов использования словаря. Однако для обработки сложного разговорного текста необходимы алгоритмы анализа его смысла, создание которых очень трудоемкая и пока нерешенная задача. Поэтому в настоящее время дос- тупны системы, обеспечивающие диалог между человеком и компьютером на упрощенном, урезанном естественном языке, программы электронного перевода эффективные преимущественно при работе с односложным текстом, а также функции ассоциативного контекстного поиска в электронных словарях.
Разработка интеллектуальных систем на основе принципов обучения, самоорганизации и эволюции. Моделирование этих принципов ориентировано на исследование возможностей решения задач с помощью законов функционирования наиболее свойственных биологическим системам. Процесс обучения связан со способностью системы накапливать информацию и рационально корректировать в соответствии с ней свое поведение. Самоорганизация подразумевает способность системы обобщать накопленную информацию, например для поиска в ней закономерностей. Использование принципов эволюции позволяет системе приобретать новые качества и свойства для наиболее оптимального функционирования.
Распознавание образов. Является одним из ранних направлений искусственного интеллекта. Оно связано с моделированием особенностей восприятия внешнего мира, узнавания объектов. В основе этого лежит тот факт, что все объекты могут быть проклассифицированы по определенным признакам и, следовательно, умение различать их проявление и позволяет идентифицировать соответствующий объект.
Игры и машинное творчество. Машинное творчество охватывает сочинение компьютерной музыки, стихов, автоматизацию изобретения новых объектов. Компьютерные игры являются той сферой искусственного интеллекта, которая наиболее знакома большинству пользователей. Уровень реализации ИИ в игре во многом определяет ее интересность, поэтому разработчики компьютерных игр постоянно совершенствуют их интеллектуальную составляющую.
Программное обеспечение систем искусственного интеллекта.
Инструментальные средства для разработки интеллектуальных систем включают специальные языки программирования, представления знаний, среды создания систем ИИ, а также оболочки экспертных систем.
Интеллектуальные роботы. Их создание связано с объединением технологий искусственного интеллекта и методов кибернетики, робототехники. В настоящее время их производство ограничивается манипуляторами с жесткой схемой управления, а также роботами развлекательного и бытового назначения с узкой областью применения и ограниченными функциями. Сдерживающим фактором при разработке более совершенных кибернетических систем являются нерешенные проблемы в области машинного зрения, адаптивного поведения, накопления и обработки трехмерной визуальной информации.
Уровень теоретических исследований по искусственному интеллекту в России не уступает мировому. Началом становления этого научного направления в нашей стране следует считать 1954 г., когда в МГУ начал свою работу семинар «Автоматы и мышление» под руководством академика Ляпунова А.А. Впоследствии стали активно развиваться направления, связанные с представлением и обработкой знаний, ситуационным управлением, моделированием рассуждений, распознаванием образов, обработкой естественного языка .
Развитие искусственного интеллекта в современной России связано с образованием в 1988 г. Ассоциации искусственного интеллекта, объединившей научные школы, исследователей по различным направлениям ИИ. Под ее эгидой проводятся различные исследования, организуются семинары для специалистов, устраиваются конференции, издается научный журнал.
В то же время проведение прикладных исследований, внедрение их результатов в коммерческие разработки происходит гораздо медленнее, чем за рубежом. Во многом это объясняется консервативностью потенциальных потребителей новых информационных технологий, а также настороженным отношением к возможностям искусственного интеллекта.
Михаил Бурцев, заведующий лабораторией нейронных систем и глубокого обучения МФТИ, рассказывает о том, возможно ли создание полноценного компьютерного аналога человеческого разума, и объясняет, для чего его разрабатывают ученые и как можно защитить его от атак троллей.
В конце июля ученые из МФТИ запустили международный конкурс систем «разговорного» искусственного интеллекта, способных имитировать живого человека, и пригласили всех желающих пообщаться с ними и оценить получившиеся диалоги.
Используя помощь добровольцев, ученые надеются в ближайшие три года создать голосового помощника, способного общаться с человеком почти так же хорошо, как и живой собеседник.
Соорганизаторами конкурса выступили ученые из университетов Монреаля, Макгилла и Карнеги-Меллон. Принять участие в тестировании диалоговых систем можно по ссылке.
На самом деле, эти идеи не были придуманы сегодня - современные голосовые помощники от Google, Apple, Amazon и других IT-компаний уходят корнями в глубокое прошлое, в самое начало компьютерной эры. Первая такая говорящая машина, получившая имя ELIZA, создана в 1966 году и была, по сути, шуткой, пародией на психотерапевта, дающего бесполезные советы пациенту.
В последующие годы и десятилетия программисты создавали все более сложные и «живые» системы общения с компьютером.
Самые продвинутые из этих систем могут распознавать настроение хозяина, помнить его старые желания и предпочтения и решать часть рутинных и домашних задач за него, заказывая пищу или товары в магазине или же играя роль оператора в колл-центрах.
- Михаил, с момента создания ELIZA прошло почти 50 лет. Что вообще поменялось за это время и можно ли в принципе ожидать, что в будущем ученым удастся создать такую систему, которую люди не смогут отличить от живого собеседника?
Я думаю, что в ближайшее время получится создать технологию разговорного интеллекта, которая позволит машине приблизиться к уровню ведения диалога человеком. Над этой задачей мы работаем в рамках проекта iPavlov, который является частью Национальной технологической инициативы.
Пользователю должно быть так же комфортно общаться с автоматической диалоговой системой, как с живым человеком. Это даст возможность создавать информационные системы, способные лучше понимать, чего от них хочет человек, и отвечать ему на естественном языке.
Разговорный интеллект можно будет использовать для автоматизации многих голосовых и текстовых интерфейсов, в том числе и в мессенджерах, подобных Telegram. Мессенджеры, как показывает статистика, сегодня используются активнее, чем социальные сети, и очень большое количество информации проходит через текстовые каналы коммуникации.
Ими, например, удобно пользоваться в транспорте, а добавление диалогового помощника - чат-бота - позволит пользователям не только общаться друг с другом, но и получать необходимую информацию, совершать покупки и делать множество других вещей.
- Учитывая присутствие Apple, Google и Amazon на этом рынке, может ли Россия здесь конкурировать? Есть ли какая-то специфика у русского языка, которая может помешать потенциальным конкурентам российских компаний и ученых?
Конечно, русский язык более сложный, и часть методов, которые сегодня используются в разработке диалоговых систем и голосовых помощников в мире, нельзя применять без доработки и существенной модификации, которые бы позволили им работать с более богатой грамматикой.
С другой стороны, базовые алгоритмы, которые используются в работе Siri, Cortana, Google и других цифровых помощников, никто не скрывает - они доступны для нас как минимум на уровне исследований и концепций.
Исследовательские статьи и программный код часто находятся в открытом доступе - в принципе, его можно адаптировать и под русский язык.
На фото: На фото: Михаил Бурцев, заведующий лабораторией нейронных систем и глубокого обучения МФТИ
Фото: Из личного архива Михаила Бурцева
Причем попыток осуществить это на «промышленном» уровне не так много. Единственный крупный проект ведется компанией «Яндекс», которая разрабатывает помощника в рамках проекта «Алиса».
В нашем проекте мы пытаемся создать инструменты, которые бы упростили и ускорили создание подобных «промышленных» диалоговых систем, предназначенных для самых разных целей. Но разработка универсального голосового помощника, способного решать любые задачи, - крайне сложная задача даже для крупных компаний.
С другой стороны, автоматизация небольшого бизнеса, в работе которого будет использоваться специализированная диалоговая система, осуществить гораздо проще. Мы надеемся, что те инструменты, которые мы создадим, помогут предпринимателям и программистам достаточно быстро решать такие задачи, не имея при этом каких-то глубоких знаний и не прилагая для этого сверхусилий.
- Многие ученые, такие как Роджер Пенроуз или Стюарт Хамерофф, считают, что человеческий разум носит квантовую природу и построить его машинный аналог нельзя в принципе. Согласны ли вы с ними или нет?
На мой взгляд, если посмотреть на то, что мы сегодня знаем об устройстве мозга и природе человеческого сознания, то пока перед нами не стоит никаких фундаментальных препятствий для того, чтобы воспроизвести его работу при помощи компьютера.
У Пенроуза и Хамероффа есть некий набор гипотез, которые, по их мнению, объясняют то, почему это нельзя сделать. Пока нейрофизиологи не нашли никаких экспериментальных подтверждений того, что эти гипотезы верны, а наш текущий багаж знаний говорит в пользу обратного.
Другое дело, что временные рамки того, когда такая машина будет создана, остаются не до конца определенными. Это может, как мне кажется, произойти не менее чем через 50, а то и 100 лет.
- Потребуются ли для этого принципиально новые технологии и компьютеры, более близкие по принципам работы к нейронам, чем к цифровой логике?
Если мы считаем, что человеческий интеллект основывается на некой форме вычислений, то тогда любая универсальная вычислительная система, эквивалентная машине Тьюринга, может в теории эмулировать работу мозга человека.
Другое дело, что эта машина может работать очень медленно, что сделает ее бесполезной с практической точки зрения. Сегодня трудно предположить, какие технологии построения компьютеров здесь нам понадобятся.
- Какие другие задачи могут решать цифровые помощники, кроме тех вещей, которыми они занимаются сегодня? Можно ли использовать их для расшифровки текстов на мертвых языках или шифровок, подобных манускрипту Войнича?
На настоящий момент, насколько я знаю, никто не пытался применять нейросети для раскрытия секретов мертвых языков и расшифровки текстов, однако мне кажется, что кто-нибудь попытается это сделать в ближайшее время. Мы, в свою очередь, пока не интересовались подобными вещами.
«Помощник» - это, на самом деле, очень широкое понятие, которое может включать в себя много самых разных вещей. Если взять, к примеру, ту же самую ELIZA, виртуального «психотерапевта», возникает вопрос: является ли она помощником или нет?
Диалоговые системы можно использовать не только для решения практических задач, но и для того, чтобы развлекать людей или поддерживать их настроение.
Тут вопрос, на самом деле, в том, что мы вкладываем в понятие персонального помощника и насколько широким или узким оно является. Если брать наиболее широко, то все вопросы, которые связаны с общением, подобные системы могут решать, хотя и с разной степенью успешности.
Разговорные интерфейсы, помимо непосредственного общения с людьми, можно применять и для того, чтобы научить машины быстро находить общий язык и передавать информацию из одной системы в другую.
Это позволит обойти проблему установления связей и передачи данных между уже существующими и создаваемыми сервисами, так как для общения друг с другом им не нужно будет знать спецификации API друг друга. Они смогут обмениваться данными, используя естественные языки или свой собственный искусственный язык, который будет изобретен машинами или человеком для таких целей.
Грубо говоря, даже «незнакомые» друг другу системы смогут договориться, используя общий для них язык общения, а не фиксированные правила обмена информацией.
Если же что-то им будет непонятно, то они могут спросить о неизвестных им вещах друг у друга, что сделает всю инфраструктуру предоставления сервисов и услуг в интернете невероятно гибкой и позволит ей быстро интегрировать в себя новые услуги без помощи людей.
- В связи с этим возникает вопрос - кто должен нести ответственность за рекомендации «психотерапевта» ELIZA, компьютерных докторов и других голосовых помощников, чьи советы могут сильно повлиять на благополучие и здоровье человека?
Это очень сложный вопрос, так как сегодня нет четких критериев, которые бы помогали нам понять, как нужно действовать в подобных случаях. Многие интернет-сервисы и службы, которые выдают рекомендации пользователям, начинают работать только после того, как пользователь соглашается с условиями предоставления сервиса и теми последствиями, которые могут возникнуть в результате работы с ним.
Например, если бот просто ищет и анализирует информацию, действуя почти так же, как и поисковая система, то к нему могут быть применены те же правила. В том случае, если он будет давать медицинские или юридические консультации, форма ответственности должна быть другой.
К примеру, подобные системы должны четко уведомлять пользователя о том, к каким последствиям ведет выбор между искусственным интеллектом и обычным врачом. У человека появится выбор - довериться доктору, который будет, к примеру, ошибаться в 10% случаев, или же сделать ставку на машину, которая дает неверный ответ в 3% случаев. В первом случае ответственность за ошибку будет нести доктор, а во втором - сам пользователь.
- В прошлом году компания Microsoft запустила чат-бот Tay. AI, который ей пришлось отключить буквально через сутки из-за того, что пользователи сети превратили «девочку-подростка» в настоящего расиста. Можно ли защитить подобные диалоговые системы от троллей и шутников?
Мне кажется, что защититься можно, а вот стоит ли это делать, зависит от назначения системы. Понятно, что если система не должна выдавать какие-то определенные реплики - грубые или экстремистские, то мы можем фильтровать ее ответы. Эта фильтрация может происходить или еще на этапе обучения системы, или уже во время генерации ответов.
Кстати, схожая задача оценки качества диалога решалась командами в рамках научной школы-хакатона DeepHack Turing, который проходил в Физтехе несколько недель назад. Его участники разрабатывали алгоритмы, которые могли бы предсказать по репликам в диалоге, какую оценку человек поставит диалоговой системе.
Следующий шаг в развитии этого подхода - создание программы, которая бы оценивала приемлемость фраз или надежность источников, используемых при генерации ответов на запросы пользователей. Это, как мне кажется, помогло бы решить данную проблему.
