Искусственный интеллект

Виды искусственного интеллекта

Можно выделить следующие основные виды искусственного интеллекта

Вид реактивный или реагирующий. На сегодня это основополагающий вид искусственного интеллекта. Этот тип реагирует на сию секундную ситуационную обстановку. Он не обладает информационными данными за рамками данной ситуации. У него нет памяти событий прошлого, чтобы, опираясь на него сформировать новое решение. То есть он проектируется для решения одной конкретной задачи.

Хорошим примером такого вида искусственного интеллекта может служить шахматная электронная вычислительная машина фирмы IBM Deep Blue, которая с большим преимуществом обыграла чемпиона мира по шахматам, гроссмейстера Гарри Каспарова ещё в конце девяностых годов прошлого века. Она способна различать шахматные фигуры и знает, как можно ходить каждой фигурой, правила игры в шахматы, может сделать вероятный прогноз очередного хода соперника, а также подобрать наилучший свой ответный ход из всех допустимых вариантов. Но у неё нет памяти о событиях, произошедших ранее. Кроме, конечно, правила троекратного повторения хода, что по меркам шахмат является ничьей. То есть фактически программа не учитывает все предыдущие действия, а только выполняет анализ текущего положения фигур на доске и подбирает самый оптимальный очередной ход.

Замечание 1

Такие системы искусственного интеллекта не способны работать в интерактивном режиме, они действуют в одной и той же ситуации всегда однообразно.

Искусственный интеллект с ограничением по памяти. Это следующий уровень искусственного интеллекта. Он запоминает некоторое количество данных из прошлого, и они могут влиять на анализ текущей ситуации. Автопилот автомобиля может служить примером этого вида искусственного интеллекта. К примеру, он отслеживает скоростные характеристики и направление движения соседних авто. Эти процедуры невозможно сделать одномоментно, для их реализации требуется определить необходимые объекты и отслеживать изменение параметров их перемещения в течение некоторого промежутка времени. Результаты наблюдений суммируются с заданными программой образами внешней среды, в которые уже заложены полосы движения, сигналы светофоров и тому подобные основные параметры, типа поворота дорожного полотна. Они используются, чтобы принять решение о моменте смены полосы движения без помех для других участников дорожного движения. Но эти незначительные информационные фрагменты из прошлого опыта не постоянны. Они не сохраняются как эпизоды опыта вождения автомобиля в базу данных, которая была бы способна собрать навыки шофёра, работающего водителем многие года.

Искусственный интеллект с теоретическими основами разума. Он способен воспринимать эмоциональные чувства и ход мыслей людей при совершении тех или иных поступков. Помимо этого, он улавливает мотивы поведения, предполагаемые намерения и даже может проявить социальную общность с человеком.

Конечно, такого типа искусственного интеллекта в реальности ещё нет, но его примеры приведены в фильме «Звёздные войны». Можно было бы на этом закончить и определить данный тип основным различием между машинными интеллектами настоящего и будущего. Но возможно и конкретно предположить, какой тип понятий сформируют машины. В будущем, машины станут совершеннее и получат способность сформировать не только образ внешней среды (окружающего мира), но и образы других живых и не живых существ. В психологической науке по этому поводу есть термин «теория разума», то есть нужно понимать, что человеческие существа, животные и предметы в окружающем мире имеют эмоциональные чувства и мысли, влияющие на их манеру поведения и предпринимаемые действия

Если не принимать во внимание (или не понимать) мотивы и намерения других людей, не учитывать знания о структуре внешней среды, действовать и работать людям друг с другом крайне трудно, а часто просто невозможно

Искусственный интеллект, обладающий самосознанием. Это последний этап прогресса искусственного интеллекта, когда система сама может сформировать понятие о самой себе. В итоге, учёные, которые занимаются проблемами искусственного интеллекта, смогут не только понять строение и работу сознания, но также спроектировать и сделать машины, имеющие его. Особи, имеющие сознание, понимают себя, разбираются в своём текущем состоянии, и смогут предугадывать эмоции и чувства другого человека.

Яндекс [потребительские интернет-сервисы]

Яндекс – самый узнаваемый российский бренд, связанный с инновациями. Эта компания занимается машинным обучением, нейронными сетями и искусственным интеллектом, чтобы справляться с объёмами информации, которую она ежедневно получает и производит.

В той или иной степени, ИИ применяется в каждом проекте Яндекса:

• Яндекс.Переводчик, благодаря нейронной сети, переводит тексты с учётом контекста. Он рассматривает исходник полностью, а не по частям, поэтому точнее подбирает синонимы и составляет предложения.

• «Алиса» — голосовой помощник, который самостоятельно обучается и подстраивается под человека. «Алиса» учитывает свои прошлые ответы и тем самым приобретает опыт. Разработчики утверждают, что она понимает 89-95% человеческой речи. Для людей считается нормой 96-98%. «Алиса» может рассказать историю, поиграть в игры и просто поболтать с пользователем.

• Яндекс.Погода уже в 2015 году научилась предсказывать погоду (по крайней мере, так писала компания в своём блоге). Уникальная технология Meteum использует машинное обучение и классические метеорологические модели для прогноза погоды с точностью до района и дома.

• Яндекс.Пробки собирают данные с устройств пользователей, анализируют, а затем прогнозируют дорожную ситуацию, составляют оптимальные маршруты для поездок.

• Алгоритм «Королёв» улучшает поисковую выдачу за счёт анализа семантики страниц и учёта поведения пользователей. Асессорами служат миллионы человек. При поиске проверяется не только соответствие ключевым запросам, но и смысл контента.

Глубокое обучение и нейронные сети

В то время, как классические алгоритмы машинного обучения решают многие проблемы, в которых присутствует масса информации в виде баз данных, они плохо справляются с, так сказать, «визуальными и аудиальными» данными вроде изображений, видео, звуковых файлов и так далее.

Алгоритмы глубокого обучения решают ту же проблему, используя глубокие нейронные сети, тип архитектуры программного обеспечения, вдохновленный человеческим мозгом (хотя нейронные сети отличаются от биологических нейронов, принцип действия у них почти такой же). Компьютерные нейронные сети — это связи «электронных нейронов», которые способны обрабатывать и классифицировать информацию. Они располагаются как-бы «слоями» и каждый «слой» отвечает за что-то свое, в итоге формируя общую картину. Например, когда вы тренируете нейронную сеть на изображениях различных объектов, она находит способы извлечения объектов из этих изображений. Каждый слой нейронной сети обнаруживает определенные особенности: форму объектов, цвета, вид объектов и так далее.

Поверхностные слои нейронных сетей обнаруживают общие особенности. Более глубокие слои уже выявляют фактические объекты. На рисунке схема простой нейросети. Зелёным цветом обозначены входные нейроны (поступаюзая информация), голубым — скрытые нейроны (анализ данных), жёлтым — выходной нейрон (решение)

«Невероятные прорывы»

Самообучающийся искусственный интеллект способен обеспечить «невероятные прорывы» России, считает Путин. «Надо смело вести научный поиск там, где перспективы исследований пока еще неосязаемы», — сказал президент, отметив, что в таких областях подчас приходится действовать наощупь.

«Таким направлением является сильный искусственный интеллект, самообучающийся, когда машина сама будет решать любые задачи лучше человека, самообучаться, постоянно развиваться. Именно здесь возможны невероятные открытия и технологические прорывы», — подчеркнул Путин.

Президент обратил внимание, что на Юге России в Имеретинской долине уже формируется один из центров исследований в области искусственного интеллекта, который предполагает удобные условия для работы специалистов, особые правовые и нормативные базовые условия для изобретения технологий будущего. «Для этого впервые в соответствии с новой Конституцией России здесь будет создана федеральная территория

Ее сердцем, местом притяжения талантливой молодежи станет центр «Сириус», в котором, насколько мне известно, «Сбер» тоже готов, я вас просил об этом, здесь уже запустить конкретные проекты», — обратился Путин к главе «Сбера» Герману Грефу.

«Сделаем это?» — добавил Путин. «Обязательно», — ответил Греф.

О понимании в искусственном интеллекте

Искусственный интеллект сейчас представляется различными системами, но о понимании можно говорить только в диалоговых системах Искусственного Интеллекта (ИИ). И сама тема понимания в ИИ сводится к нескольким аспектам диалогового взаимодействия искусственного агента с человеком:

  1. Порождаемые диалоговой системой тексты отвечают «здравому смыслу».
  2. Ответы системы соответствуют контексту диалога и ожиданиям человека.
  3. Понимание целей, намерений высказываний человека в диалоге.

Понимания смысла в полной мере нельзя отнести к теме понимания контекста диалога, так как смысл высказывания собеседника может быть по-разному интерпретирован, и какой интерпретации должно соответствовать состояние понимания, не ясно. Можно ли «ошибки» по мнению собеседника (человека) интерпретировать как иное понимание смысла выражения системой? В большей степени понимания смысла относится к пониманию намерений и целей высказывания, а это отдельная тема theory of mind. «Здравый смысл» как критерий понимания можно интерпретировать точнее. В общем смысле это соответствие ответа картине мира, что поддается проверке. И на сегодня это является лучшим критерием понимания искусственными агентами, такими как диалоговые боты, контекста диалога. Но пока в этом боты не демонстрируют успехи.

Анализ подходов

Релевантный ответ является самым простым критерием понимания ботом собеседника (человека). Но этот критерий легко «подделать», что ни раз демонстрировалось участниками Премии Лёбнера. Он достигается закладыванием большого числа вариативных шаблонов ответов на распознаваемые нейронной сетью «интентов». Это трудно назвать пониманием. Но и успехи таких ботов скромны – смешанные интенты они распознают крайне плохо. Один вопрос вне тем шаблонов и система проваливается. Это легко проверить на таких ботах как Алиса от Яндекс и Siri от Apple. Можно сказать, что знания мира у таких систем фрагментарны.

Как автоматизировать аудит всех разговоров компании

Разговоры с клиентами записывают практически все компании. Но для прослушивания всех разговоров необходимо столько же человек, сколько их “наговорило”, поэтому обращаются к этим записям, как правило крайне редко.
Происходит это всего лишь в двух случаях. Во-первых, когда необходимо найти “кто прав?”, то есть в случае возникновения спорных вопросов с клиентами или поставщиками. Во-вторых, когда в контактном центре налажен процесс выборочного аудита разговоров для оценки. В последнем случае существуют статистические формулы, которые дают нам следующие выкладки. Чтобы с уверенностью 90±5% сказать, что информация об аудите достоверна, необходимо прослушать 214 разговоров из каждой тысячи. Иными словами на каждые 5 операторов необходимо одного аудитора с аналогичным графиком работы. А если учитывать, что некоторые колл-центры работают круглосуточно, то требуемое количество аудиторов возрастает.
Таким образом получается, что компании прослушивают всего 1-3% разговоров. Однако в диалогах с клиентами можно найти довольно много интересного, если провести голосовую аналитику. Поиск можно осуществлять по следующим критериям:

Модель для распознавания степени поражения лёгких на КТ: мы резко увеличили точность сортировки больных

Срез КТ с зонами «матового стекла»
Пациентам с подтверждённым COVID-19 делают компьютерную томографию лёгких. Если повезёт — один раз, если нет — несколько. В первый раз нужно оценить уровень поражения в процентах. В зависимости от квартиля степени поражения определяется дальнейшая схема лечения, и они разительно отличаются. В апреле 2020 мы узнали, что есть две сложности:

КТ — трёхмерное изображение, каждый слой такого изображения называется срезом. При 300–800 срезах лёгких на КТ врачи тратят от 1 до 15 минут на поиск характерных зон, чтобы определить степень поражения. Одна минута — это «на глаз», 30 минут — это среднее при ручном выделении и подсчёте зон повреждённой ткани. В сложных случаях результат может обрабатываться до часа.
Точность диагностики уровня поражения коронавирусом экспертами «на глаз» высока на границах 0–30 % и 70–100 %

В диапазоне 30–70 погрешность очень высока, и мы обратили внимание, что кто-то из рентгенологов, как правило, системно завышает процент поражения на глаз, а кто-то занижает.

Задача сводится к определению повреждённой ткани лёгких и подсчёту доли их объёма к общему лёгких.
В конце апреля в кооперации с клиниками мы подготовили датасет обезличенных исследований пациентов с подтверждённым ПЦР-анализом COVID-19, отдали комиссии из десяти отличных экспертов-рентгенологов и разметили выборку для обучения с учителем.

Учим AI Dungeon говорить по-русски

Из песочницы

Недавно ребята из сбер(-банка) анонсировали и выложили в свободный доступ свою модель gpt-3 и я понял, что можно наконец то реализовать свою давнюю мечту — сделать AI dungeon для русского языка. Данная игра сильно выстрелила в прошлом году, про нее было написано множество статей. Если описать AI dungeon кратко, то это эксперимент с огромной генеративной нейронной сетью, где слово игра используется, чтобы заменить множество непонятных слов. Суть игры проста: вы пишете историю и место действия своему персонажу (или выбираете из заранее готовых). Буквально пишете. Вариантов выборов бесконечно много, результаты всегда непредсказуемы, а приключения по настоящему уникальны. Завораживающе, правда?

Что такое искусственный интеллект

Для начала давайте определимся с терминологией. Если вы представляете себе искусственный интеллект, как что-то, способное самостоятельно думать, принимать решения, и в целом проявлять признаки сознания, то спешим вас разочаровать. Практически все существующие на сегодняшний день системы даже и близко не «стоят» к такому определению ИИ. А те системы, что проявляют признаки подобной активности, на самом деле все-равно действуют в рамках заранее заданных алгоритмов.

Порой алгоритмы эти весьма и весьма продвинутые, но они остаются теми «рамками», в пределах которых работает ИИ. Никаких «вольностей» и уж тем более признаков сознания у машин нет. Это просто очень производительные программы. Но они «лучшие в своем деле». К тому же системы ИИ продолжают совершенствоваться. Да и устроены они совсем небанально. Даже если откинуть тот факт, что современный ИИ далек от совершенства, он имеет с нами очень много общего.

Как археологи используют машинное обучение, чтобы копать глубже

Перевод

Доктор Джино Каспари (справа) во время геофизических исследований королевской скифской гробницы на юге Сибири в 2018 году. Фото: Тревор Уоллес
Найти гробницу древнего царя, полную золотых артефактов, оружия и изысканной одежды, — голубая мечта любого археолога. Но искать такие объекты невероятно утомительно, сказал бы вам доктор Джино Каспари.
Джино Каспари, археолог-исследователь из Швейцарского национального научного фонда, изучает культуру древних скифов и кочевников, которые терроризировали население равнин Азии 3000 лет назад. В гробницах скифской знати хранится большая часть сказочных богатств, украденных ими у соседей. С того момента, как тела вождей предавали земле, могилы становились мишенями для грабителей. По оценкам доктора Каспари, более 90% из них уже уничтожены и разорены.

ИИ-приложения для смартфона

Replika

Replika — это приложение, которое поможет вам расширить ваше общение.

Виртуальные помощники на базе ИИ есть везде. Siri может установить будильник, а Alexa вызовет Uber. Но по-настоящему поговорить по душам не с кем. Replika соответствует именно этой идее. Это искусственный интеллект, который сканирует ваши социальные сети и задаёт очень много вопросов о вас. Replika наивна и любопытна, как ребёнок, но это только на первый взгляд. Приложение обучается, поэтому многое зависит от вас. Каждый ответ будет сохранён в памяти и может быть использован позже. Таким образом, вы можете создать свою личную копию себя, а затем вступать с ней в диалог.

Jarvis Artificial Intelligent

Jarvis был создан Марком Цукербергом, который в свою очередь был вдохновлён виртуальным помощником из замечательного фильма «Железный человек». Jarvis может контролировать свет и температуру, выбирать музыку и настраивать системы безопасности в вашем доме. Этот виртуальный помощник постоянно учится распознавать голоса и лица. Все эти функции доступны с помощью мобильного приложения. Честно говоря, приложение ещё следует доработать, но его определённо стоит попробовать.

Youper

Youper — это бесплатный и удобный помощник на базе искусственного интеллекта, который поможет решить ваши проблемы. Он подойдёт в качестве приложения для фитнеса, которое также содержит когнитивно-поведенческую терапию (КПТ), медитацию и терапию «Принятия и обязательств (ответственности)». Вместе с этим вы можете использовать его как приложение для растяжки. Youper старается заботиться о вас, давая различные советы по здоровью.

Отличие искусственного интеллекта от естественного

Интеллект можно определить как общую умственную способность к рассуждению, решению проблем и обучению

В силу своей общей природы интеллект интегрирует когнитивные функции, такие как восприятие, внимание, память, язык или планирование. естественный интеллект отличает осознанное отношение к миру

Мышление человека всегда эмоционально окрашено, и его нельзя отделить от телесности. Кроме того, человек — существо социальное, поэтому на мышление всегда влияет социум. ИИ не имеет отношения к эмоциональной сфере и социально не ориентирован.

Как сравнить человеческий и компьютерный интеллекты?

Сравнить мышление человека с искусственным интеллектом можно исходя из нескольких общих параметров организации мозга и машины. Деятельность компьютера, как и мозга, включает четыре этапа: кодирование, хранение, анализ данных и выдачу результата. Кроме того, мозг человека и ИИ могут самообучаться в зависимости от данных, полученных из окружающей среды. Также человеческий мозг и машинный интеллект решают проблемы (или задачи), используя определенные алгоритмы.

У компьютерных программ есть IQ?

Нет. Показатель IQ связан с развитием интеллекта человека в зависимости от возраста. ИИ в чем-то превышает некоторые человеческие способности, например может удерживать в памяти огромное количество цифр, но это не имеет отношения к IQ.

Что такое тест Тьюринга?

Алан Тьюринг разработал эмпирический тест, который показывает, способна ли программа уловить все нюансы поведения человека до такой степени, что человек не сможет определить, с кем именно он общается — с ИИ или с живым собеседником. Тьюринг предложил, чтобы сторонний наблюдатель оценивал разговор между человеком и машиной, которая отвечает на вопросы. Судья не видит, кто именно отвечает, но знает, что один из собеседников — ИИ. Разговор ограничен только текстовым каналом (компьютерная клавиатура и экран), поэтому результат не зависит от способности машины отображать слова как человеческую речь. В случае, если программе удается обмануть человека, считается, что она эффективно справилась с тестом.

Символьный подход

Символьный подход к ИИ — совокупность всех методов исследования искусственного интеллекта, основанных на высокоуровневых символических (читаемых человеком) представлениях о задачах, логике и поиске. Символьный подход широко применялся в исследованиях ИИ в 1950–80-х годах. Одной из популярных форм символьного подхода являются экспертные системы, использующие сочетание определенных правил производства. Производственные правила связывают символы в логические связи, которые подобны алгоритму If-Then. Экспертная система обрабатывает правила, чтобы сделать выводы и определить, какая дополнительная информация ей нужна, то есть какие вопросы задавать, используя удобочитаемые символы.

Логический подход

Термин «логический подход» предполагает апеллирование к логике, размышлениям, решению задач с помощью логических шагов. Логики еще в XIX веке разработали точные обозначения для всех видов объектов в мире и отношений между ними. К 1965 году существовали программы, которые могли решить любую логическую задачу (пик популярности данного подхода пришелся на конец 1950–70-х годов). Сторонники логического подхода в рамках логического искусственного интеллекта надеялись выстроить на таких программах (в частности, записанных на языке Prolog) интеллектуальные системы. Однако у такого подхода два ограничения. Во-первых, нелегко взять неформальное знание и изложить его в формальных терминах, которые требуются для обработки ИИ. Во-вторых, есть большая разница между решением проблемы в теории и ее решением на практике. Даже проблемы с несколькими сотнями фактов могут исчерпать вычислительные ресурсы любого компьютера, если у него нет каких-либо указаний относительно того, какие рассуждения надо использовать в первую очередь.

Агентно-ориентированный подход

Агент — это то, что действует (от лат. agere, «делать»). Конечно, все компьютерные программы что-то делают, но ожидается, что компьютерные агенты будут делать больше: работать автономно, воспринимать сигналы окружающей среды (с помощью специальных датчиков), адаптироваться к изменениям, создавать цели и выполнять их. Рациональный агент — это тот, кто действует так, чтобы достичь наилучшего ожидаемого результата.

Гибридный подход

Предполагается, что этот подход, который стал популярным в конце 80-х, работает наиболее эффективно, так как представляет собой сочетание символьных и нейронных моделей. Гибридный подход увеличивает когнитивные и вычислительные возможности машины.

Как я заработал 1 000 000 $ без опыта и связей, а потом потратил их, чтобы сделать свой переводчик

Технотекст 2020

Как все начиналось

Эта история началась 15 лет назад. Работая программистом в столице, я накапливал деньги и увольнялся, чтобы потом создавать собственные проекты. Для экономии средств уезжал домой, в небольшой родной город, где работал над сайтом для студентов, программой для торговли, играми для мобильных телефонов. Но из-за отсутствия опыта ведения бизнеса это не приносило дохода, и вскоре проекты закрывались. Приходилось снова ехать в столицу и устраиваться на работу. Эта история повторилась несколько раз.
Когда у меня в очередной раз закончились деньги, наступил кризис. Я не смог найти работу, ситуация стала критической. Пришло время посмотреть на все вещи трезвым взглядом. Нужно было честно признаться себе, что я не знаю, какие ниши выбрать для бизнеса. Создавать проекты, которые просто нравятся, — путь в никуда.

Умная нормализация данных

Из песочницы

Эта статья появилась по нескольким причинам.

Во-первых, в подавляющем большинстве книг, интернет-ресурсов и уроков по Data Science нюансы, изъяны разных типов нормализации данных и их причины либо не рассматриваются вообще, либо упоминаются лишь мельком и без раскрытия сути.

Во-вторых, имеет место «слепое» использование, например, стандартизации для наборов с большим количеством признаков — “чтобы для всех одинаково”. Особенно у новичков (сам был таким же). На первый взгляд ничего страшного. Но при детальном рассмотрении может выясниться, что какие-то признаки были неосознанно поставлены в привилегированное положение и стали влиять на результат значительно сильнее, чем должны.

И, в-третьих, мне всегда хотелось получить универсальный метод учитывающий проблемные места.

ИИ общего назначения

А вот здесь всё не так здо­ро­во, как в реше­нии при­клад­ных задач. Дело в том, что научить ком­пью­тер мыс­лить как чело­век пока невоз­мож­но. Каж­дая область мыш­ле­ния — отдель­ная про­грам­ма, кото­рая долж­на уметь рабо­тать со все­ми осталь­ны­ми про­грам­ма­ми. Реа­ли­зо­вать такую мас­штаб­ную систе­му пока невоз­мож­но — нет ни алго­рит­мов, ни вычис­ли­тель­ной мощ­но­сти для это­го, плюс не на чем обучать.

Есть ими­та­ции искус­ствен­но­го интел­лек­та в отно­си­тель­но широ­ких обла­стях, но пол­но­цен­но мыс­лить как люди они не могут. Напри­мер, раз­ра­бот­ка ком­па­нии IBM — ИИ Watson — может стро­ить логи­че­ские свя­зи меж­ду мно­же­ством фак­тов и делать пра­виль­ные выво­ды на их осно­ве. Одно из при­ме­не­ний Ват­со­на — поста­нов­ка диа­гно­зов в меди­цине. Ещё он кру­то игра­ет в «Jeopardy!» — ана­лог «Сво­ей игры» на аме­ри­кан­ском ТВ.

IBM назна­чи­ла приз в мил­ли­он дол­ла­ров тому, кто побе­дит Ват­со­на в «Сво­ей игре». До сих пор нико­му это не удалось. 

Но даже Ват­сон не может одно­вре­мен­но рас­по­зна­вать лица, писать акту­аль­ный и осмыс­лен­ный текст, под­дер­жи­вать пол­но­цен­ный диа­лог и при­ни­мать реше­ния, поехать ли в выход­ные на шаш­лы­ки или про­ве­сти вре­мя с детьми. Воз­мож­но, ситу­а­ция изме­нит­ся с выхо­дом пол­но­цен­ных кван­то­вых ком­пью­те­ров, но до это­го пока ещё очень далеко.

Плюс, есть чисто фило­соф­ская про­бле­ма: люди пока что не поня­ли до кон­ца, что такое созна­ние, что его опре­де­ля­ет, что такое разум и интел­лект. Что, если наш мозг — тоже лишь ней­ро­сеть, кото­рая видит инфор­ма­цию на вхо­де и выда­ёт дей­ствия на выхо­де? А всё, что мы счи­та­ем созна­ни­ем, — лишь внут­рен­ний шум от рабо­ты нейронов?

Но фило­со­фию оста­вим фило­со­фам. В одной из сле­ду­ю­щих ста­тей пока­жем, как по ней­рон­кам бегут сиг­на­лы, и деталь­но раз­бе­рём суть машин­но­го обучения.

Только глупец не понимает, что его профессия скоро отойдет к ИИ

Новые про­фес­сии с прак­ти­кой и настав­ни­ка­ми — в Яндекс Прак­ти­ку­ме. 8 часов обу­че­ния бес­плат­но — на попробовать. 
Попробовать

Оцените статью
Рейтинг автора
5
Материал подготовил
Андрей Измаилов
Наш эксперт
Написано статей
116
Добавить комментарий