ИИ, разрабатывающему лекарства, потребовалось менее шести часов, чтобы изобрести 40 000 потенциально смертоносных молекул. Исследователи перевели ИИ, обычно используемый для поиска полезных лекарств, в своего рода режим “плохого актера”, чтобы показать, как легко им можно злоупотреблять на конференции по контролю над биологическими вооружениями.
Все, что исследователям нужно было сделать, это скорректировать свою методологию, чтобы искать, а не отсеивать токсичность. Искусственный интеллект разработал десятки тысяч новых веществ, некоторые из которых похожи на VX, самое мощное нервно-паралитическое вещество, когда-либо разработанное. Потрясенные, они опубликовали свои выводы в этом месяце в журнале Nature Machine Intelligence.
Газета заставила нас немного пошатнуться на Грани
Газета тоже немного потрясла нас на Грани. Итак, чтобы выяснить, насколько мы должны быть обеспокоены, The Verge поговорил с Фабио Урбиной, ведущим автором статьи. Он также является старшим научным сотрудником Collaborations Pharmaceuticals, Inc., компании, которая специализируется на поиске лекарств для лечения редких заболеваний.
Это интервью было слегка отредактировано для большей длины и ясности.
Эта статья, похоже, переворачивает вашу обычную работу с ног на голову. Расскажите мне о том, чем вы занимаетесь в своей повседневной работе.
В первую очередь моя работа заключается в внедрении новых моделей машинного обучения в области открытия лекарств. Большая часть этих моделей машинного обучения, которые мы используем, предназначена для прогнозирования токсичности. Независимо от того, какой вид препарата вы пытаетесь разработать, вам нужно убедиться, что он не будет токсичным. Если выяснится, что у вас есть этот замечательный препарат, который фантастически снижает кровяное давление, но он поражает один из этих действительно важных, скажем, сердечных каналов, тогда, по сути, это бесполезно, потому что это слишком опасно.
Итак, тогда почему вы провели это исследование по биохимическому оружию? Что это была за искра?
Мы получили приглашение на конференцию по конвергенции от Швейцарского Федерального института ядерной, биологической и химической защиты, Лаборатории Шпиц. Идея конференции состоит в том, чтобы информировать сообщество в целом о новых разработках с помощью инструментов, которые могут иметь последствия для Конвенции о химическом/биологическом оружии.
Мы получили это приглашение поговорить о машинном обучении и о том, как его можно неправильно использовать в нашем пространстве. Это то, о чем мы никогда раньше по-настоящему не задумывались. Но было просто очень легко понять, что, поскольку мы создаем эти модели машинного обучения, чтобы все лучше и лучше предсказывать токсичность, чтобы избежать токсичности, все, что нам нужно сделать, это как бы переключить переключатель и сказать: “Вы знаете, вместо того, чтобы уходить от токсичности, что, если мы действительно ли идти к токсичности?”
Можете ли вы рассказать мне, как вы это сделали — переместили модель в сторону токсичности?
Я буду немного расплывчатым в некоторых деталях, потому что нам было сказано в основном не раскрывать некоторые подробности. В целом, то, как это работает в этом эксперименте, заключается в том, что у нас есть множество исторических наборов данных молекул, которые были протестированы, чтобы определить, токсичны они или нет.
В частности, тот, на котором мы здесь сосредоточимся, — это VX. Это ингибитор так называемой ацетилхолинэстеразы. Всякий раз, когда вы делаете что-либо, связанное с мышцами, ваши нейроны используют ацетилхолинэстеразу в качестве сигнала, чтобы в основном сказать: “Двигай мышцами”. Способ, которым VX смертельен, заключается в том, что он фактически лишает вашу диафрагму, мышцы легких, возможности двигаться, так что ваши легкие становятся парализованными.
“Очевидно, это то, чего вы хотите избежать”.
Очевидно, что это то, чего вы хотите избежать. Так исторически сложилось, что эксперименты проводились с различными типами молекул, чтобы выяснить, ингибируют ли они ацетилхолинэстеразу. Итак, мы собрали эти большие наборы данных об этих молекулярных структурах и о том, насколько они токсичны.
Мы можем использовать эти наборы данных для создания модели машинного обучения, которая в основном изучает, какие части молекулярной структуры важны для токсичности, а какие нет. Тогда мы сможем дать этой модели машинного обучения новые молекулы, потенциально новые лекарства, которые, возможно, никогда раньше не тестировались. И это скажет нам, что это, по прогнозам, будет токсичным, или это, по прогнозам, не будет токсичным. Это способ для нас виртуально очень, очень быстро отсеять множество молекул и как бы выбросить те, которые, по прогнозам, будут токсичными. В нашем исследовании здесь мы сделали то, что, очевидно, перевернули это, и мы используем эту модель, чтобы попытаться предсказать токсичность.
Другая ключевая часть того, что мы здесь сделали, — это эти новые генеративные модели. Мы можем дать генеративной модели множество различных структур, и она научится соединять молекулы вместе. И тогда мы можем, в некотором смысле, попросить его генерировать новые молекулы. Теперь он может генерировать новые молекулы по всему пространству химии, и это просто своего рода случайные молекулы. Но одна вещь, которую мы можем сделать, — это действительно указать генеративной модели, в каком направлении мы хотим двигаться. Мы делаем это, предоставляя ему небольшую функцию подсчета очков, которая дает ему высокий балл, если молекулы, которые он генерирует, соответствуют тому, что мы хотим. Вместо того, чтобы давать низкий балл токсичным молекулам, мы даем высокий балл токсичным молекулам.
Теперь мы видим, как модель начинает производить все эти молекулы, многие из которых выглядят как VX, а также как другие боевые отравляющие вещества.
Расскажи мне подробнее о том, что ты нашел. Вас что-нибудь удивило?
Мы на самом деле не были уверены, что получим. Наши генеративные модели — это довольно новые технологии. Так что мы нечасто использовали их широко.
Самое большое, что бросилось в глаза поначалу, заключалось в том, что многие из полученных соединений, по прогнозам, были на самом деле более токсичными, чем VX. И причина, по которой это удивительно, заключается в том, что VX в основном является одним из самых мощных известных соединений. Это означает, что вам нужно очень, очень, очень небольшое его количество, чтобы быть смертельным.
Так вот, это прогнозы, которые мы не проверили, и мы, конечно же, не хотим проверять это сами. Но прогностические модели, как правило, довольно хороши. Так что, даже если будет много ложных срабатываний, мы опасаемся, что там есть какие-то более мощные молекулы.
Во-вторых, мы действительно рассмотрели многие структуры этих недавно созданных молекул. И многие из них действительно выглядели как VX и другие боевые отравляющие вещества, и мы даже нашли некоторые из них, созданные на основе модели, которые были настоящими боевыми отравляющими веществами. Они были созданы на основе модели, которая никогда не видела этих боевых отравляющих веществ. Итак, мы знали, что находимся здесь в нужном месте и что это создает молекулы, которые имеют смысл, потому что некоторые из них уже были созданы раньше.
Для меня проблема заключалась в том, насколько легко это было сделать. Многое из того, чем мы пользовались, доступно бесплатно. Вы можете пойти и загрузить набор данных о токсичности из любого места. Если у вас есть кто-то, кто знает, как писать код на Python, и обладает некоторыми возможностями машинного обучения, то, вероятно, за хорошие выходные они могли бы создать что-то вроде этой генеративной модели, основанной на токсичных наборах данных. Так что это было то, что заставило нас по-настоящему задуматься о публикации этой статьи; это был такой низкий барьер для такого рода злоупотреблений.
В вашей статье говорится, что, выполняя эту работу, вы и ваши коллеги “все еще пересекли серую моральную границу, демонстрируя, что можно создавать виртуальные потенциальные токсичные молекулы без особых усилий, времени или вычислительных ресурсов. Мы можем легко стереть тысячи молекул, которые мы создали, но мы не можем стереть знания о том, как их воссоздать”. Что крутилось у вас в голове, когда вы выполняли эту работу?
Это была довольно необычная публикация. Мы немного поговорили о том, стоит ли нам публиковать это или нет. Это потенциальное злоупотребление, на выполнение которого ушло не так много времени. И мы хотели получить эту информацию, так как мы действительно не видели ее нигде в литературе. Мы огляделись вокруг, и никто на самом деле не говорил об этом. Но в то же время мы не хотели отдавать идею плохим актерам.
“Какой-нибудь враждебный агент где-нибудь, возможно, уже думает об этом”
В конце концов, мы решили, что в некотором роде хотим опередить это. Потому что, если у нас есть возможность это сделать, вполне вероятно, что какой-то враждебный агент где-то, возможно, уже думает об этом или в будущем подумает об этом. К тому времени наша технология, возможно, продвинется даже дальше того, что мы можем сделать сейчас. И многое из этого будет просто с открытым исходным кодом, что я полностью поддерживаю: обмен наукой, обмен данными, обмен моделями. Но это одна из тех вещей, когда мы, как ученые, должны заботиться о том, чтобы то, что мы выпускаем, делалось ответственно.
Насколько легко кому-то повторить то, что вы сделали? Что им может понадобиться?
Я не хочу показаться слишком сенсационным по этому поводу, но кому-то довольно легко повторить то, что мы сделали.
Если бы вы загуглили генеративные модели, вы могли бы найти несколько составленных однострочных генеративных моделей, которые люди выпустили бесплатно. И затем, если бы вы искали наборы данных о токсичности, существует большое количество наборов данных о токсичности с открытым исходным кодом. Итак, если вы просто объедините эти две вещи, а затем будете знать, как кодировать и создавать модели машинного обучения — все, что действительно требуется, — это подключение к Интернету и компьютер, — тогда вы сможете легко повторить то, что мы сделали. И не только для VX, но и практически для любых других существующих наборов данных о токсичности с открытым исходным кодом.
“Я не хочу показаться слишком сенсационным по этому поводу, но кому-то довольно легко повторить то, что мы сделали”.
Конечно, это требует некоторого опыта. Если бы кто-то собрал это воедино, ничего не зная о химии, он, в конечном счете, вероятно, создал бы материал, который был бы не очень полезен. И все еще есть следующий шаг — синтезировать эти молекулы. Поиск потенциального лекарства или потенциальной новой токсичной молекулы — это одно; следующий шаг синтеза — фактическое создание новой молекулы в реальном мире — был бы еще одним препятствием.
Верно, все еще есть несколько больших скачков между тем, что придумывает искусственный интеллект, и превращением этого в реальную угрозу. Какие там пробелы?
Большой пробел, с которого нужно начать, заключается в том, что вы действительно не знаете, действительно ли эти молекулы токсичны или нет. Там будет некоторое количество ложных срабатываний. Если мы сами пройдемся по тому, что думал или делал бы плохой агент, им придется принять решение о том, какую из этих новых молекул они хотели бы в конечном итоге синтезировать.
Что касается маршрутов синтеза, то это может быть «сделай это» или «сломай это». Если вы найдете что-то похожее на боевое химическое вещество и попытаетесь его синтезировать, скорее всего, этого не произойдет. Многие химические строительные блоки этих боевых отравляющих веществ хорошо известны, и за ними следят. Они регулируются. Но существует так много компаний по синтезу. До тех пор, пока это не будет похоже на боевое химическое вещество, они, скорее всего, просто синтезируют его и отправят обратно, потому что кто знает, для чего используется эта молекула, верно?
Вы узнаете об этом позже в статье, но что можно сделать, чтобы предотвратить такого рода злоупотребление искусственным интеллектом? Какие гарантии вы хотели бы видеть установленными?
Для контекста, существует все больше и больше политик, касающихся обмена данными. И я полностью согласен с этим, потому что это открывает больше возможностей для исследований. Это позволяет другим исследователям видеть ваши данные и использовать их для своих собственных исследований. Но в то же время это также включает в себя такие вещи, как наборы данных о токсичности и модели токсичности. Так что немного сложно найти хорошее решение этой проблемы.
