Поэтому, вопреки логике, уменьшение сети может даже иногда замедлять ее работу, потому что вещи, которые происходят в движке, означают, что эти 3 фильтра внезапно превращаются в 4, поэтому дополнительная операция также требует времени.

Поэтому могут возникать такие нелогичные ситуации, что уменьшение сети приведет к ее замедлению.

SNPE, с другой стороны, гораздо интереснее. А именно, SNPE предпочитает количество фильтров, кратное 32, а любое другое количество фильтров плохо поддерживается. Иногда оказывается, что уменьшение этой сети или даже увеличение фильтра буквально на 1 может полностью перевернуть время вывода. Так что здесь есть очень большой простор для совершенствования, очень большой простор для оптимизации. Многие из этих вещей, я думаю, даже нуждаются в изучении. Это тот вид дополнительного пространства в оптимизации модели, который я нахожу увлекательным, и я подозреваю, что он не широко известен.

Это очень интересное явление. Я ушел, потому что получил очень хорошее предложение получить докторскую степень и работать в группе вычислительной онкологии в отделении MIM в Варшаве. Должен признаться, что по личным и профессиональным причинам я не брал докторскую степень, речь шла и о материальных вещах.

С другой стороны, это была моя многолетняя мечта - получить степень PhD, и теперь такая возможность представилась, чему я был рад. В то время как этот проект был очень интересным, приносящим удовлетворение, так что это было определенно очень трудное решение. Но в конце концов я обнаружил, что, поскольку это медицинская тематика и возможность сделать что-то хорошее для людей, которые борются с болезнями, я понял, что если бы я мог использовать эту радость (назовем это радостью именования, моделирования еще и для такого благородного дела), то, думаю, это принесло бы мне гораздо больше удовлетворения.

Это очень хороший вопрос, еще и потому, что он очень широкий. Я думаю, что в ML их много, поэтому, возможно, я приведу несколько конкретных примеров того, чем может отличаться это в ML и что я считаю хорошей практикой. Мне кажется, что одна разделительная линия — это ожидаемое время, в течение которого наше решение для машинного обучения должно жить.

Известно, что короткие проекты намного проще, потому что есть достаточно простая и конкретная цель для достижения, поэтому эти проекты относительно просты и мне кажется также, когда мы изучаем машинное обучение или когда мы входим в машинное обучение, мы вступаем в контакт с проектами, которые имеют короткий жизненный цикл. Однако мне кажется, что проекты, которые имеют гораздо более длительный жизненный цикл, гораздо интереснее, и здесь, как мне кажется, необходимость применения этих лучших практик автоматически возрастает.

Что касается пунктов, первое, что мне кажется очень хорошей практикой, — очень точно определить, чего мы хотим достичь. Так, например, такая специфическая, очень хорошая практика заключается в том, чтобы просто сделать одну, назовем ее механической туркой, в которой мы делаем вид, что используем этот алгоритм, и просто заключаем контракт и изучаем очень конкретные ответы на вопросы, которые клиенты хотят получить. Получить ответы, кажется очевидным, однако очень часто может привести к интересным выводам.

Очень часто много расхождений в терминологии, в ожиданиях. Вероятно, самым классическим примером было то, что в какой-то момент во время одного разговора клиент, который был очень убежден в том, чего он хочет, фактически полностью переформулировал задачу. Предполагалось, что это какая-то проблема классификации, а на самом деле оказалась проблема кластеризации. Таких классов должно было быть 6, а их более чем в 10 раз больше. Оказалось, что эффективность не так важна, чтобы, скажем, эти кластеры казались ему наиболее интересными, они были не столь важны, и важно было, чтобы кластеры, которые являются самыми большими, и наименее интересными, будет легче отфильтровать.

Так что это определенно хорошая практика - просто проанализировать и понять, чего мы хотим достичь. И это с точки зрения подобной деловой практики.

Такая низкоуровневая практика, которую я, конечно, настоятельно рекомендую, - мой опыт подсказывает мне, что нужно очень сильно отделять такие вещи, которые являются очень низкоуровневыми в языке программирования, на котором мы пишем, от такой бизнес-логики. Такие конкретные замечания заключаются в том, что, например, очень часто, когда мы хотим, например, написать pipeline, в котором конкретные бизнес-объекты преобразуются в другие бизнес-объекты, мне кажется, что очень важно избегать там низкоуровневых объектов, потому что это приводит к действительно огромному хаосу и так далее.

И с этой точки зрения, это просто чистота этого решения, но, и прежде всего, модификации, то есть будущие расширения или будущие корректировки. Так что такое тотальное отделение от этих метрик я бы однозначно советовал.

Третья практика, которая кажется мне относительно простой, хотя очень часто позволяет избежать подобных алгоритмов машинного обучения при разработке, — это как валидировать модели.

Мне кажется, что это относится и к первому пункту. По крайней мере практика, которую я использую в части проверки бизнес-моделей, заключается в рассмотрении того, какую первую порцию данных эта модель получит, т.е. что в некотором смысле определение этого, т.е. будут ли это данные, которые модель получит однажды, будут ли это новые данные, которые просто поступят от какого-то сервиса в определенное время и так далее.

Мне кажется, что придумав, как будет выглядеть первый день или первая такая атомная единица времени использования этой модели, невероятно легко определить, как эта модель должна быть проверена. Валидация проводится таким образом, что мы просто вырезаем часть наших данных, которые явно будут вести себя так же, и это задает нам как стратегию валидации, так и то, что на самом деле войдет в этот алгоритм.

Однако последняя особенность, также связанная с наименованиме вещей, я думаю, что при разработке таких долгосрочных проектов важно помнить о таком более программном принципе, как принцип открытости-закрытости, то есть о том, что хороший код должен быть открыт для расширения и закрыт для модификации.

Мне кажется, что особенно в случае машинного обучения, в котором модели часто являются объектами, которые мы не до конца понимаем, что они делают, нам часто трудно понять, как они работают. Ужасно важно подготовить это так, чтобы в некотором смысле возможные изменения или расширения не повлияли на то, что происходило в нашем проекте до сих пор. Поскольку часто эти модели вносят много случайности во весь наш конвейер, момент, когда мы должны контролировать, сколько из этого является проблемой или проблемой модели, а сколько - вопросом наших изменений, очень сложен.

Тем не менее, конкретная вещь, которую я бы предложил, на самом деле сводится к такой хорошей практике программирования, как правильное присвоение наименований. Принцип "открыто-закрыто" чаще всего возникает, когда у нас есть какое-то действие, которое не имеет названия и которое находится в цикле всего этого кода, где-то выполняется. Затем, когда мы хотим его изменить, то если у нас чисто написанный код, то происходит подмена какого-то интерфейса. Если мы назовем действие и создадим правильный интерфейс, который будет его выполнять, то это приведет к тому, что мы сможем просто поместить туда новый элемент и создать новую вещь. В этом смысле мы открыты для расширения. В то время как если мы изменим его, то мой худший опыт машинного обучения показывает, что такие незначительные изменения в одном месте вызывают невероятные изменения в другом.

Подводя итог, мне кажется, что я мало рассказывал о самих моделях, в основном о программировании. Мне кажется, это тоже хорошая практика, чтобы все было вместе (я говорю о долгосрочных проектах).

Я бы немного разделил этот вопрос и даже начал с разделения одного из главных действующих лиц этого вопроса, то есть академического мира. Мне кажется, что когда речь заходит о машинном обучении и академическом мире, по крайней мере, мой опыт подсказывает мне, что существует как минимум 3 таких мира, которые, как мне кажется, стоит разделить и рассмотреть каждый из них поближе.

Первый мир - это мир, в котором мы рассматриваем академический мир как источник знаний, которые студент получает на этапе бакалавриата или магистратуры, а затем, в некотором смысле, мы можем спросить себя, как знания, которые он или она приобретает в течение этого времени, переносятся в конкретный бизнес, порождает ли данная система образования кандидатов, которые позже идут в бизнес и точно находят себя в этом бизнесе. Мне кажется, что с этой точки зрения ответ на вопрос, как это выглядит в настоящий момент, очень размыт.

С одной стороны, мне кажется (я также думаю в терминах моего факультета MIM), что каждый последующий год действительно выпускаются великие программисты, которых уважают во всем мире. Они также являются людьми, которые очень быстро адаптируются в бизнесе, их очень высоко ценят, так что с этой точки зрения я думаю, что это, безусловно, здорово. С другой стороны, мне кажется, что это такая особенность такого IT-образования в первую очередь. Мне кажется, что в случае с Data Science все обстоит несколько иначе. Первая проблема, которая здесь возникает, заключается в том, что в рамках академической подготовки можно, естественно, выполнить очень ограниченное количество проектов.

Я считаю это двумя самыми большими ограничениями. Первое ограничение - это просто время. Поскольку мы говорили о лучших практиках и решениях машинного обучения, которые прослужат дольше, мы склонны думать о системах, которые прослужат много лет. Из своего опыта я знаю, что существуют системы, которые живут 7, 10 лет и так далее, и ты знаешь, что к этому трудно подготовиться на 6-месячном курсе или годичной магистратуре. Поэтому мне кажется, что мы не будем немного перескакивать через это.

Однако, насколько я знаю, здесь запущена очень крутая инициатива - со следующего года в МИМ начнется новый курс, связанный с искусственным интеллектом, и мне кажется, что очень интересное решение, которое там появится, - это необходимость стажировки. Насколько я помню, она выдается на один год. Я бы даже продлил ее до 2 лет, потому что мне кажется, что чем дольше люди работают вместе и чем дольше они находятся в контакте с вещью, которая живет гораздо дольше, чем эти 3 месяца или 6 месяцев, тем лучше, и это, конечно, учит хорошим практикам и дает вам хорошую интуицию того, что важно, а что нет.

Вторая проблема, как мне кажется, немного глубже, но если подумать, то, что лично я нахожу ужасно увлекательным и приятным в машинном обучении, так это то, что, тем не менее, эти данные, эта проблема вносит большую долю случайности. Часто решение проекта машинного обучения - это такое приключение. Есть неприятная часть, когда приходится чистить данные, но, конечно, способность реагировать, иметь дело с неопределенностью, как в отношении данных, так и в отношении самой проблемы и алгоритма, мне кажется, требует такой определенной адаптивности. Когда мы думаем об академическом курсе, мне кажется, что здесь просто нет места для такой неопределенности, для некоторого хаоса, потому что университет или курс - это именно то место, где мы хотим передать знания структурированным образом.

Поэтому внедрить это в такой навык, чтобы в курсах была такая неопределенность, довольно сложно. Мне также кажется, что когда речь идет о математике, информатика противоречит нынешней модели преподавания, которая скорее связана с тем, что у нас есть определенные всеобъемлющие знания, то есть знания о заданных отраслях математики или заданных информационных технологиях, заданных языках программирования и т.д., и мы просто хотим передать эти знания. Конечно, это отличное начало, но с точки зрения дальнейших шагов, может создаться впечатление, что эта реальность настолько упорядочена, предсказуема, что легко найти эти проблемы.

Здесь, конечно, трудно научиться такому решению проблем в таком большом хаосе. Я надеюсь, что эта новая программа и необходимость стажировки помогут, но мне кажется, что здесь важна трансформация в сторону работы с хаосом и работы с вещами, которые живут гораздо дольше. Это что касается такого момента, как подготовка новых сотрудников и как это создается.

Вторая академическая реальность, я бы назвал ее классической академической реальностью. То есть, когда я говорю о классической академической реальности, я думаю о таком профессоре, докторанте который работает в своей области, публикует свои результаты в определенных журналах, эти журналы имеют достаточно развитый процесс рецензирования. Что требуется в этом академическом пространстве, так это высокое качество рассуждений, высокое качество экспериментов.

Этот процесс, конечно, часто занимает много времени, и поэтому требуется больше времени для проникновения этих новых новостей и новых инноваций, что противоречит третьему миру, потому что это два совершенно разных мира. Это также академический мир, который больше всего ассоциируется с машинным обучением, то есть с невероятно широкими исследовательскими средами в области Machine Learning.

Мне кажется, что это два совершенно разных мира, и я думаю, что, безусловно, стоит изучить их, чтобы понять, как они влияют на бизнес и обсуждают его, потому что это довольно увлекательно. Этот другой мир, самый горячий на данный момент, который живет больше в Твиттере, чем в журналах, где статья, на которую ссылаются так много, что она действительно является ключевой для области. Это действительно увлекательный мир. Мне кажется, что оба мира по-разному обсуждают бизнес, влияют на бизнес и, конечно, наоборот. Поэтому я бы просто подошел к этому более комплексно.

Мне кажется, что особенно когда речь идет о третьем мире, который является самым масштабным миром, есть пространство, которое, как ни парадоксально, влияет на бизнес гораздо больше, чем другие на данный момент. Мне нравится думать, что этот нынешний мир, самый шумный мир, мне нравится сравнивать его с Формулой-1, которая является такой интересной, высокопрофессиональной гонкой, с камерами со всего мира. Все знают, что там происходит, знают водителей, все хотят получить что-то из этого автомобильного мира и так далее. Мы все слышим, что время от времени появляется какая-то новая разработка в новой машине, новый алгоритм, который был настроен на эти 3%.

Все взволнованы, я думаю, что там царит очень сильная атмосфера, и поэтому вокруг него огромный ажиотаж, он также вызывает огромный интерес инвесторов, огромные надежды, и это позитивная часть этого.

Однако мне кажется, что есть и не совсем положительный вариант. Здесь, как мне кажется, те проблемы, на которые я хотел бы обратить внимание, используя эту метафору, что бизнесу, однако, больше нужен автомобиль для масс, приспособленный для конкретных перевозок, а не для того, чтобы наблюдать за этим жарким шоу, где ему самое место. Итак, первое, что является огромной проблемой во всем этом - это отсутствие переноса результатов с этого трека на такой обычный трафик, что кажется мне совершенно очевидным. Здесь я вижу несколько проблем. Первая проблема заключается в том, что мы часто слышим, и люди в бизнесе слышат, что искусственный интеллект решил проблему X.

Но что на самом деле это значит? Значит ли это, что в Формуле 1 есть трасса, на которой эти автомобили действительно показали отличные результаты, которые потенциально не смог бы показать даже человек? Здесь возникает огромная проблема, которая заключается в том, что часто это определение проблем естественно в этом горячем мире, там проблемы не существуют в категории таких жизненных проблем просто существуют в категории конкретных наборов данных и конкретных результатов, которые вам нужны для достижения этого. Это, к сожалению, не передается, потому что, во-первых, эти жизненные или бизнес-проблемы генерируют довольно часто другие данные, гораздо более шумные, часто совершенно другой природы. Это первый источник непередаваемости.

Второй источник, который кажется мне гораздо более тонким, заключается в том, что у меня сложилось впечатление, что все знают эти треки. Я был страшно увлечен недавним исследованием, потому что когда, например, мы думаем о таком наборе, как CIFAR-10, в настоящее время мне кажется, что количество тренировок на этом CIFAR, особенно с мощным развитием neural architecture search, то есть количество моделей, которые тренировались на этом CIFAR, я подозреваю, что уже превышает количество звезд в этой части галактики. Недавно кто-то попытался провести такой простой эксперимент, в котором он просто попытался создать новые данные для этого CIFAR, которые будут похожи на существующие данные, но все равно будут новыми.

Получилось так, что эти результаты в некотором смысле резко упали, что означает, что, безусловно, мы каждый раз гоняемся на этой трассе, и в рамках этих гонок конкуренция честная, но если мы немного меняем трассу, то возникают проблемы, и это также очень сильно влияет на бизнес, потому что трасса совершенно другая, и в конце это очень часто приводит к разочарованным ожиданиям, что кажется мне самой большой проблемой, потому что эта самая переносимость затруднена.

Вторая проблема, которая здесь возникает, - это проблема шумихи. Когда я работал в компании Sigmoidal, мы участвовали в конкурсе. Вместе с другими командами нас пригласили принять участие в конкурсе. Призом в этом конкурсе было подписание контракта на разработку технологии для этого клиента. Я бы также добавил, что это был один из самых рискованных отделов для этого клиента.

Поэтому, когда мы отправились на этот конкурс, который длился два дня, мы очень сильно сосредоточились на том, чтобы правильно оформить эти данные, очистить их, найти все потенциальные риски. Мы очень сильно сконцентрировались на этих рисках. В конце концов, мы не выиграли это соревнование, потому что победила команда, которая установила BERT на инфраструктуру клиента в течение двух дней. Так что через два дня я наконец-то смог поставить BERT. Дело в том, что эта новая технология была очень важна.

Из разговоров с людьми я также знаю, что, особенно для руководителей, часто очень важно иметь возможность продемонстрировать такую технологию. Мне кажется, что это порождает огромную проблему, потому что в конечном итоге, однако, эти алгоритмы являются тем, чем они являются, и это также мой опыт, что часто эти результаты не переходят в конкретные проблемы, так что это, конечно, вызывает рост пузыря, невозможных ожиданий. Это приводит к появлению большого количества проектов, которые просто пытаются решить с помощью этих болтов. Просто не получается, что тоже автоматически является проблемой.

Третья связанная с этим проблема заключается в том, каким автомобилям или каким решениям отдается предпочтение. Вот пример, который приходит мне на ум, который также очень поучителен - я сейчас много работаю в области генеративных моделей, а это именно то семейство моделей, где существуют GAN, автоэнкодеры, а в последнее время появилась техника диффузии. Будет очень познавательно посмотреть, как развивается эта область. Когда разрабатывается какой-то новый генеративный алгоритм, оказывается, что оценить такую генеративную модель ужасно сложно. Это действительно так, потому что то, чего мы хотим, в определенном смысле является тем, что мы хотели бы получить.

Генеративная модель - это модель, которая в некотором смысле пытается моделировать распределение данных, поэтому, если у нас есть несколько изображений, мы хотели бы получить модель, которая позволяет нам генерировать новое изображение, очень похожее на данное, или, например, оценить, является ли данное изображение достаточно надежным. Как ни странно, это очень сложная задача, потому что трудно определить, что такое разумное изображение.

Поэтому доминирующей метрикой, используемой при оценке этих моделей, является то, хорошо ли выглядят изображения, созданные с помощью модели, то есть не размыты ли они, имеют ли правильные текстуры и так далее. Если подумать, то часть оценки этих моделей заключается в том, что при появлении такой статьи они генерируют изображения, радующие глаз. Я могу сказать из своего опыта, что я разрабатываю одно такое семейство моделей, и я заметил, что многие другие команды, которые просто используют подобные вещи, а также читают статьи, созданные таким образом, один из наших опытов заключается в том, что когда мы немного отвлеклись от этих изображений и очень внимательно, математически рассмотрели эти модели, а также то, что они моделируют, мы смогли, например, получить гораздо лучшие результаты при выборе этих моделей только потому, что мы немного отвлеклись от того, что это не изображения, и мы не оптимизировали эти изображения.

Поэтому мне кажется, что это может вызвать специфические проблемы, хотя само по себе это демонстрирует проблему, что достаточно важным фактором в этой среде является то, что среда должна хорошо воспринимать алгоритмы. Нет никакой конкретной валидации, включая бизнес валидацию, потому что этого просто очень трудно достичь, в то время как давление с целью сделать эти алгоритмы интересными и инновационными, безусловно, оказывает сильное влияние.

С точки зрения бизнеса, мне кажется, что, с одной стороны, эта среда имеет положительный эффект, потому что вызывает огромный интерес и приносит много денег, но с другой стороны, проблемы, о которых я упомянул, касаются того, чего я боюсь больше всего, а именно разочарования и того, что пузырь лопнет. Так что с этой точки зрения это вызывает у меня определенный страх.

Здесь, конечно, возникает тот другой мир, о котором я упоминал, - классический академический, закрытый обзор. В последнее время между этими мирами ведутся некие деликатные дискуссии о том, что именно значит хорошая статья и т.д., так что эта дискуссия очень интересна.

Со своей стороны, я могу рассказать интересный анекдот: когда мы готовили статью для журнала в рамках нашего сотрудничества, мы довольно долго размышляли над тем, является ли та или иная операция математически обоснованной. Все это вращалось вокруг такой математической основы, которая называется вариационной основой, эта основа имеет определенные предположения.

Там мы сделали вещь, которая была очень инженерной, она работала, но ее было трудно оправдать с точки зрения вариативности. Нам было интересно, пройдет ли она экспертную оценку, и в то же время появилась статья, в которой была сделана еще более инженерная вещь, она прошла экспертную оценку, и оказалось, что она дала действительно замечательные результаты, так что это защитило ее.

Но это также показало мне, что классический академический мир очень сосредоточен на качестве этих решений, чтобы они были такими последовательными, чистыми. Здесь поднимаются очень хорошие вопросы.... С одной стороны, мне кажется, что, безусловно, эта дискуссия между этими мирами безумно интересна, я предвижу, что последует все больше и больше разочарований, возвращение потенциально старых, проверенных методов. Я оцениваю это так: это две крайности чего-то крайне необходимого.

С одной стороны, нам нужен этот толчок, этот импульс, но с другой стороны, нам также необходим контроль, чтобы эти вещи делались контролируемым образом, чтобы они были воспроизводимы. Поэтому я тихо надеюсь, что в ближайшем будущем мы сможем найти очень интересный синтез этих миров. Мне кажется, что это будет чудовищно важно с точки зрения бизнеса, не в последнюю очередь потому, что, безусловно, потенциальное привнесение в этот процесс некой деловой валидации будет важно для этого бизнеса.

Такое мое видение этой среды.

Мне кажется, что, даже если исходить только из ожиданий доктора наук, в настоящее время это скорее второй мир, но мне кажется, что со временем эти границы начнут значительно пересекаться. Я помню, как несколько лет назад на MIM подход к машинному обучению был очень осторожным, а теперь машинное обучение становится новым предметом. Я тихо надеюсь, что мы входим в пространство этого слияния, что каким-то образом эти миры все же встретятся. Но я, конечно, вхожу в него с точки зрения этого другого мира.

Это очень хороший вопрос. Я упомянул, что, как мне кажется, следующие 5 или 10 лет могут отличаться от нынешних. Мне уже кажется, что мы постепенно видим, что, например, в этом году у нас впервые было меньше заявок, чем в прошлом, а это значит, что появились первые симптомы насыщения третьего мира, самого динамичного мира. Поэтому у меня сложилось впечатление, и я также тихо надеюсь, что, возможно, приоритеты этих исследований изменятся. Мне кажется, что следующие вехи будут связаны с такими вещами, которые сейчас менее изучены.

Не знаю, предвижу ли я это, но я бы, конечно, хотел, чтобы с такой точки зрения, например, создавались не столько модели решения проблем, сколько генеративные модели (уже создаются так называемые рабочие модели, то есть модели, в которых мы предсказываем поведение среды или реальности).

Я предсказываю, что если на самом деле этот мир самого бурного развития замедлится и наступит мир размышлений, то мне кажется, что одним из ключевых моментов будет создание таких моделей, которые будут достаточно хорошо представлять определенные реалии. Под определенными реалиями я понимаю, например, создание модели, которая, возможно, даже в какой-то ограниченной степени, но сможет делать выводы понятным для человека образом и, например, генерировать на этой основе изображения или потенциально новые тексты.

Я думаю, что сначала это будет, вероятно, в ограниченной степени, потому что система символов, имен, часто очень нечитаема для нас. Но я надеюсь, что в течение пяти лет мы сможем сделать это таким образом, что сможем создавать эти модели реальности с помощью искусственного интеллекта. Это такая важная веха в общем развитии.

Я очень надеюсь, что это уже делается, но мне кажется, что существует небольшая проблема с передачей медицинских данных, включая данные визуализации. Например, мне кажется, что прорыв там происходит, он становится все быстрее и быстрее, но он, конечно, не такой заметный и масштабный, как в изобразительном компьютерном зрении. Поэтому я надеюсь, что эти модели достигнут этого уровня, тем более, что такое моделирование изображений будет иметь большое значение.

Третья такая веха - мы упомянули эти системы. Я подозреваю, что вещи, связанные с риском, неопределенностью, допуская, что искусственный интеллект может ошибаться, и спрашивая его, когда он действительно ошибается, и создавая технологию, которая действительно дает разумный ответ на это, станут следующим этапом. Таковы три моих прогноза.

Большое спасибо за приглашение и до встречи, пока.