Стивен Хокинг впервые встретился с Гордоном Муром, соучредителем Intel, на конференции в 1997 году. Мур заметил, что компьютер Хокинга, с помощью которого он общался с другими людьми, работает на процессоре AMD, и спросил его, не хочет ли он вместо этого «настоящий компьютер» с процессором Intel. И с тех пор компания Intel предоставляет Хокингу персональные компьютеры и техническую поддержку, заменяя устаревшее оборудование каждые два года.
Некоторое время Стивен общался с помощью орфографических карт, терпеливо указывая на буквы и формируя слова поднятием бровей. Мартин Кинг, физик, который работал с Хокингом над новой системой коммуникации, связался с калифорнийской компанией Words Plus, чья компьютерная программа Equalizer позволяет пользователю выбирать слова и команды на компьютере с помощью ручного кликера. Кинг поговорил с генеральным директором Words Plus Уолтером Вольтошем и спросил, может ли это программное обеспечение помочь профессору физики в Англии с боковым амиотрофическим склерозом (БАС). Вольтош создал раннюю версию Equalizer, чтобы помочь своей теще, которая также страдала от БАС и потеряла способность говорить и писать. «Я спросил, не Стивен Хокинг ли этот профессор, но он не мог назвать мне имя без разрешения», — говорит Вольтош. «Он позвонил мне на следующий день и подтвердил это. Я сказал, что помогу всем чем смогу».
Equalizer сначала работал на компьютере Apple II, связанном с синтезатором речи, созданным компанией Speech Plus. Затем эта система была адаптирована Дэвидом Мейсоном, инженером и мужем одной из медсестер Хокинга, и сделана переносной, что позволило установить ее на одном из кронштейнов инвалидной коляски. С помощью этой новой системы Хокинг смог общаться со скоростью 15 слов в минуту.
Тем не менее, нерв, который позволял ему двигать большим пальцем, продолжал деградировать. К 2008 году рука Хокинга стала слишком слабой, чтобы использовать кликер. В то время его ассистент разработал устройство, которым можно было управлять мышцей щеки. Будучи прикрепленным к его очкам, оно могло обнаруживать с помощью направленного вниз инфракрасного луча, когда Хокинг напрягал мышцу щеки. С тех пор Хокинг добился успеха в написании электронных писем и книг, серфинге в интернете и разговорах с использованием только одной мышцы. Тем не менее, его способность общаться продолжала снижаться. К 2011 году он мог «сказать» лишь пару слов в минуту, поэтому он отправил письмо Муру, сказав: «В наши дни мой речевой ввод стал очень, очень медленным. Может ли мне помочь Intel?»
Мур попросил Джастина Раттнера, технического директора Intel, изучить проблему. Раттнер собрал команду экспертов по взаимодействию человека с компьютером в Intel Labs, с которой и приехал в Кембридж на 70-ый день рождения Хокинга. «Я привел с собой группу специалистов из Intel Labs», — сказал Раттнер аудитории. «Мы будем внимательно изучать применение самых современных вычислительных технологий для улучшения скорости общения Стивена. Мы надеемся, что эта команда совершит прорыв и изобретет технику, которая позволит ему общаться на уровне, который у него был несколько лет назад».
Хокинг был слишком болен, чтобы присутствовать на его собственной вечеринке по случаю дня рождения, поэтому несколько недель спустя он встретился с экспертами Intel в своем кабинете на кафедре прикладной математики и теоретической физики в Кембриджском университете. В группу ученых и техников вошли Хорст Хассеккер, директор Experience Technology Lab, Лама Нахман, директор Anticipatory Computing Lab и руководитель проекта, и Пит Денман, интерактивный дизайнер. «Стивен всегда вдохновлял меня», — говорит Денман, который также использует инвалидное кресло. «После того, как я сломал себе шею и стал парализованным, моя мать подарила мне копию «Краткой истории времени», которая только что появилась в продаже. Она сказала мне, что люди в инвалидных колясках все еще могут делать удивительные вещи. Оглядываясь назад, я понимаю, насколько она была права».
После того, как команда Intel представилась, Хауссекер взял на себя инициативу, объяснив, почему они пришли и каковы были их планы. Хауссекер говорил уже около 20 минут, пока Хокинг внезапно не стал говорить. «Он приветствовал нас и сказал, что счастлив всех нас видеть», — говорит Денман. «Мы даже не поняли, что он печатал все это время. Ему потребовалось 20 минут, чтобы написать приветствие из 30 слов. Мы застыли в удивлении, это был острый момент. Тогда мы поняли, что проблема серьезнее, чем мы думали».
В то время компьютерным интерфейсом Хокинга была программа под названием EZ Keys, которая являлась обновлением предыдущих программных продуктов, также разработанная Words Plus. Она предоставляла ему клавиатуру на экране и базовый алгоритм прогнозирования слов. Курсор автоматически перемещался на клавиатуре по строкам или столбцам, и Стивен мог выбрать нужную букву, дергая щекой, чтобы остановить курсор. EZ Keys также позволяла Хокингу управлять мышью в Windows и различных приложениях на своем компьютере. Он занимался серфингом в Интернете с помощью Firefox и писал свои лекции с помощью Блокнота. У него также была веб-камера, которую он использовал в Skype.
Команду Intel потрясла архаичная система Хокинга, и было предложено внедрение абсолютно нового оборудования. «Джастин думал, что мы можем использовать такие технологии, как распознавание лица, отслеживание взгляда и нейроинтерфейсы», — говорит Нахман. «Сначала мы испробовали множество этих диких идей и других готовых технологий». Эти попытки, чаще всего, не удавались. Отслеживание взгляда не работало с глазами Хокинга из-за его опущенных век. Еще перед обращением в Intel Хокинг пытался использовать ЭЭГ-датчики, которые могли бы считывать его мозговые волны и, возможно, передавать команды на его компьютер. Так или иначе, они не смогли получить достаточно сильный сигнал от мозга. «Мы выводили различные буквы на экран, и он пытался выбрать правильную букву, просто используя свой мозг», — говорит Вуд. «Это отлично работало со мной, но когда это пробовал Стивен, ничего не получалось — мы не могли получить достаточно сильный сигнал, чтобы отделить его от шума».
«Чем больше мы наблюдали за ним и слушали его предложения, тем больше до нас доходило, что он не только хотел ускорить его общение с окружающими людьми, но и просил внедрить новые функции, которые позволили бы ему лучше взаимодействовать с его компьютером», — говорит Нахман. Вернувшись в лаборатории Intel после нескольких месяцев исследований, Денман подготовил 10-минутное видео для отправки Хокингу, показывая, какие новые прототипы пользовательского интерфейса они хотели реализовать и спрашивал его отзывов о них. «Мы придумали нововведения, которые, по нашему мнению, не будут радикально изменять его способ взаимодействия с системой, но все равно будут иметь большое влияние на скорость его речи», — говорит Денман. Нововведения включали такие дополнения, как «кнопка назад», которую Хокинг мог использовать не только для удаления символов, но и для перехода назад в пользовательском интерфейсе, а также алгоритмы предикативного ввода текста и подсказки по следующим словам.
Главное изменение, по мнению Денмана, было в самом прототипе, который должен был решить самую главную проблему, с которой Хокинг столкнулся: пропущенные и неправильные буквы. «Стивен часто попадал по неправильной букве, которая находилась рядом с нужной, и удалял ее», — говорит Денман. «Он снова попадал по неправильной букве, снова удалял и снова вводил не то, что хотел. Это делало ввод невыносимо медленным и расстраивало его». Эта конкретная проблема усугублялась перфекционизмом Хокинга. «Для него очень важно, чтобы его мысли были четко сформулированы, а пунктуация была абсолютно правильной», — говорит Нахман. «Он научился быть достаточно терпеливым, чтобы по-прежнему быть перфекционистом. Он не тот, кто хочет просто передать суть сообщения. Он тот, кто действительно хочет, чтобы его текст был совершенным».
Чтобы устранить проблему пропущенных букв, команда Intel добавила прототип, который интерпретировал бы намерения Хокинга, а не его фактический ввод, используя алгоритм, аналогичный таковому в обработке текста на мобильных телефонах. «Это сложное взаимодействие, в которое нужно поверить», — объясняет видео. «Когда iPhone впервые появился на рынке, люди жаловались на предикативный набор, но недоверие быстро сменилось восторгом. Проблема в том, что для того, чтобы привыкнуть, требуется немного времени, но вы должны не мешать системе выполнять свою работу, и тогда эта функция может увеличить вашу скорость написания текста и позволит вам сосредоточиться на его содержании».
В конце видео Денман задал вопрос: «Каков ваш уровень волнения или опасения?» В июне того же года Хокинг посетил Intel Labs, где Денман и его команда познакомили его с новой системой, первоначально называвшейся ASTER (ASSistive Text EditoR). «Ваше текущее программное обеспечение немного устарело», — сказал ему Денман. «Ну, то есть оно устарело очень сильно, но вы привыкли использовать его, поэтому мы изменили метод, с помощью которого работает ваше предсказание следующего слова, и теперь он может в значительно точнее подобрать правильное слово, даже если введенных букв в нем нет».
«Это большое улучшение по сравнению с предыдущей версией», — ответил Хокинг. «Мне это и вправду нравится».
Они реализовали новый пользовательский интерфейс на компьютере Хокинга. Денман думал, что они на правильном пути. К сентябрю они начали получать обратную связь: ученый не адаптировался к новой системе. Это было слишком сложно. Прототипы, такие как кнопка «назад» и исправление пропущенных букв, оказались запутанными, и нужно было их изменить. «Он один из самых умных людей в мире, но мы не должны забывать, что он не подвергался воздействию современных технологий», — говорит Денман. «У него никогда не было возможности использовать iPhone. Мы пытались научить самого известного и умного 72-летнего деда в мире изучить этот новый способ взаимодействия с технологиями».
Денман и остальная команда поняли, что нужно начать думать о проблеме по-другому. «Мы думали, что разрабатываем программное обеспечение в традиционном смысле, где вы забрасываете огромную сеть и пытаетесь поймать столько рыбы, сколько сможете», — говорит Денман. «Мы не понимали, насколько дизайн будет зависеть от Стивена. Мы должны были сконцентрироваться на обучении одного человека».
В конце 2012 года команда Intel создала систему, которая тщательно записывала, как Хокинг взаимодействует со своим компьютером. Они записали десятки часов видео, которые охватывали целый ряд различных ситуаций: Стивен печатает, Стивен печатает, когда устал, Стивен работает с помощью мыши, Стивен пытается получить окно нужного размера. «Я снова и снова смотрел эти кадры», — говорит Денман. «Иногда я запускал видео в четыре раза быстрее и все еще находил что-то новое».
К сентябрю 2013 года с помощью Джонатана Вуда, помощника Хокинга, они внедрили еще одну версию пользовательского интерфейса в компьютер ученого. «Я думал, что мы сделали это, и проблема решена», — говорит Денман. Однако к следующему месяцу стало ясно, что у Хокинга снова возникли проблемы с адаптацией. «Один из его помощников назвал это «пыткой ASTER», — вспоминает Денман. «Когда они это сказали, Стивен попытался усмехнуться».
Прошло еще много месяцев, прежде чем команда Intel придумала версию, которая понравилась Хокингу. Например, он теперь использует адаптивный предиктор слов из лондонского стартапа SwiftKey, который позволяет ему выбирать слово после ввода буквы, в то время как предыдущая система Хокинга требовала от него перехода к нижней части его пользовательского интерфейса и выбора слова из списка. «Его система предсказания слов была очень старой», — говорит Нахман. «Новая система намного быстрее и эффективнее, но нам нужно было обучать Стивена, чтобы он мог использовать ее. Сначала он жаловался на нее, и только потом я понял, почему: он уже знал, какие слова будет предсказать его предыдущая система, и он привык к этому». Intel стала работать с SwiftKey, включив в систему многие документы Хокинга, так что теперь в некоторых случаях ему больше не нужно было вводить ни одного символа для того, чтобы предиктор угадал нужное слово, основанное на контексте. «Фраза «черная дыра» теперь требует меньшего ввода текста», — говорит Нахман. «Ввод слова «черная» предсказывает сразу «дыру».
Новая версия пользовательского интерфейса Хокинга (которая теперь называется ACAT — Assistive Contextually Aware Toolkit) включает контекстные меню, которые предоставляют Стивену различные ярлыки для разговоров, поиска информации в интернете или переписке по электронной почты. Также в нее встроен новый менеджер лекций, который дает ему контроль над временем написания ответа во время бесед. Он также имеет кнопку отключения звука — любопытную функцию, которая позволяет Хокингу отключить его синтезатор речи. «Потому что он управляет своим выключателем щекой, и если он ест или путешествует, он создает случайный набор слов», — говорит Вуд. «Но бывают времена, когда ему нравится придумывать случайную речь. Он делает это постоянно, а иногда и совершенно неуместно. Я помню, как он случайно набрал «x x x», что через его синтезатор речи звучало как «секс-секс-секс».
Офис Вуда находится рядом с офисом Хокинга, хотя он больше похож на мастерскую. У одной стены свалено электронное оборудование и экспериментальные прототипы. На столе находится камера, часть текущего проекта с Intel. «Идея состоит в том, чтобы камера, направленная на лицо Стивена, считывала не только движения его щеки, но и другие движения лица», — говорит Вуд. «Он мог бы сдвинуть челюсть вбок, вверх или вниз, чтобы управлять курсором, и даже, потенциально, — его инвалидным креслом. Это классные идеи, но они не скоро будут завершены».
Еще один экспериментальный проект, предложенный производителями инвалидной коляски Хокинга в начале 2015 года — это джойстик, который прикрепляется к подбородку ученого и позволяет ему самостоятельно передвигаться на инвалидной коляске. «Это то, чем Стивен очень увлечен», — говорит Вуд. «Проблема заключается в контакте между подбородком Стивена и джойстиком. Поскольку он не может двигать шеей, трудно задействовать или отключить джойстик». Вуд показывает видео о недавнем испытании этой системы. В нем вы можете видеть Хокинга, у которого с трудом получается провести свою коляску через комнату. «Как вы можете видеть, он сумел управлять ей», — говорит Вуд. «Ну, вроде сумел».
Вуд показывает небольшую серую коробку, в которой хранится единственная копия синтезатора речи Хокинга. Это CallText 5010, модель, предоставленная Стивену в 1988 году, когда он посетил компанию, которая ее изготовила — Speech Plus. Плата внутри синтезатора имеет процессор, который превращает текст в речь — это устройство также использовалось для автоматизированных телефонных автоответчиков в 1980-х годах.
«Я пытаюсь сделать программную версию голоса Стивена, чтобы мы не полагались на эти старые аппараты», — говорит Вуд. Для этого ему пришлось отследить судьбу команды Speech Plus. В 1990 году эта компания была продана Centigram Communications. Centigram был приобретен Lernout and Hauspie Speech Products, который, в свою очередь, был приобретен ScanSoft в 2001 году. ScanSoft был куплен Nuance Communications — многонациональной компанией с 35 офисами и 1200 сотрудниками. Вуд связался с ней. «У них было программное обеспечение с голосом Стивена из 1986 года», — говорит Вуд. «Похоже, мы нашли его на резервной кассете Nuance».
Хокинг очень привязался к своему голосу: в 1988 году, когда Speech Plus дали ему новый синтезатор, голос был другим, поэтому он попросил их заменить его оригиналом. Его голос был создан в начале 80-х годов инженером MIT Деннисом Клаттом, пионером алгоритмов преобразования текста в речь. Он изобрел DECtalk, одно из первых устройств, созданных для таких задач. Изначально он записал три голоса — его жены, дочери и самого себя. Женский голос назывался «Прекрасная Бетти», детский — «Малыш Кит», а мужской — «Совершенный Пол». И именно этим голосом и говорит Стивен Хокинг.
Увы, многим идеям Intel уже никогда не суждено будет сбыться — Хокинг, один из величайших ученых современности, скончался в своем доме 14 марта на 77-ом году жизни. Однако, будем надеяться, эти идеи помогут другим людям с БАС более комфортно общаться с окружающими людьми и управлять своими компьютерами.
