본문 영역으로 바로가기
 

강좌 검색

B.인공지능.9-Natural Language Processing (NLP)(고급)

강의소개

이 과정은 인공 지능 분야의 Microsoft 전문 프로그램의 일부입니다.

자연어 처리 (NLP)는 정보화 시대의 가장 중요한 기술 중 하나입니다. 복잡한 언어 발화를 이해하는 것도 인공지능의 중요한 부분입니다.

이 과정에서는 자연어 처리에 대한 철저한 개요와 고전적인 기계 학습 방법을 사용하는 방법이 제공됩니다. 통계적 기계 번역과 DSSM (Deep Semantic Similarity Model) 및 해당 응용 프로그램에 대해 학습합니다.

또한 NLP 및 Vision-Language Multimodal Intelligence에 적용되는 심층 강화학습 기술에 대해서도 설명합니다.

학습목록

  • 기계 번역 및 대화 문제를 해결하기 위해 딥러닝 모델을 적용합니다.
  • 정보 검색 및 자연어 응용프로그램에 심층 구조화된 의미 모델을 적용합니다.
  • 자연어 애플리케이션에 심층 강화 학습 모델을 적용합니다.
  • 이미지 캡션 및 시각적 질문 답변에 딥러닝 모델을 적용합니다.

강의계획서

Module 1: NLP 및 딥러닝 소개
고전적인 기계 학습 방법과 최첨단 딥러닝 방법을 사용한 자연어 처리에 대한 개요입니다.

Module 2: 기계 번역 및 대화를위한 신경 모델
번역 및 대화를 위한 통계적 기계 번역 및 신경 모델 소개

Module 3: 깊은 의미론적 유사성 모델 (DSSM)
DSSM (깊은 의미론적 유사성 모델) 및 그 응용 프로그램 소개.

Module 4: 자연어 이해
연속 단어 표현 및 신경지식 기반 임베딩과 같은 자연어 이해에 적용되는 방법을 소개합니다.

Module 5: NLP의 심층 강화 학습
NLP에 적용된 심층 강화 학습 기술 소개

Module 6: 시각 언어 다중 모드 이해
이미지 캡션 및 시각적 질문 답변에 적용된 신경 모델 소개

전제조건

학생들은이 과정을 수강하기 전에 수학 및 컴퓨터 프로그래밍 기술과 기계 학습 및 딥러닝에 대한 기본 지식이 있어야 합니다.

강사소개

Lei Ma

Lei Ma

수석 콘텐츠 개발자
Microsoft

Lei는 Microsoft의 수석 콘텐츠 개발자입니다. 2009 년에 Microsoft에 입사한 이후 개발자 도구 및 기술을 연구하고 있습니다. 그녀는 개발자가 모바일 우선 및 클라우드 우선 세상에서 더 많은 것을 성취하도록 돕는데 열정적입니다. 그녀는 Visual Studio, Team Foundation Server, ALM 등에 대해 MSDN (Microsoft Developer Network)에 대한 여러 기사를 작성했습니다. MCSD (Microsoft Certified Solutions Developer) 프로그램에 대한 시험을 설계하고 만들었습니다. 그녀는 현재 DevOps, 클라우드 서비스 및 최신 소프트웨어 개발에 대한 온라인 과정을 작성하고 있습니다.

Roland Fernandez

Roland Fernandez

딥러닝 테크놀로지 센터 선임 연구원 겸 AI 학교 강사
Microsoft Research AI

Roland는 Microsoft Research AI의 Deep Learning Technology Center에서 연구원 및 AI School 강사로 일하고 있습니다. 그의 관심 분야는 강화학습, 자율적 멀티 태스킹 학습, 상징적 표현, AI 교육, 정보 시각화 및 HCI입니다. DLTC에 오기 전에 Roland는 시각화 및 HCI 프로젝트, 특히 SandDance 프로젝트를 수행하는 MSR의 VIBE 그룹에서 일했습니다. MSR 이전에 Roland는 자연 사용자 인터페이스, 활동 기반 컴퓨팅, 고급 프로토 타이핑, 프로그래머 도구, 운영 체제 및 데이터베이스 영역에서 Microsoft 및 기타 회사에서 근무했습니다.

Xiaodong He

Xiaodong He

책임 연구원
Microsoft

Xiaodong He는 미국 워싱턴 주 레드몬드에 있는 Microsoft Research AI의 딥러닝 기술 센터의 수석 연구원입니다. 그는 또한 워싱턴 대학교 (시애틀) 전기 공학과의 부교수이며 박사감독 위원회에서 활동하고 있습니다. 그의 연구 관심 분야는 주로 딥러닝, 자연어 처리, 컴퓨터 비전, 음성, 정보 검색 (IR) 및 지식 표현을 포함한 인공 지능 분야입니다. 그는 ACL, EMNLP, NAACL, CVPR, SIGIR, WWW, CIKM, NIPS, ICLR, ICASSP, Proc에 100 개 이상의 논문을 발표했습니다. (IEEE, IEEE TASLP, IEEE SPM 및 기타)그는 ACL 2015에서 Outstanding Paper Award를 비롯한 여러 상을 수상했습니다. 그와 동료들은 언어, 비전, IR 및 지식 표현 작업에 광범위하게 적용되는 DSSM을 발명했습니다.
그는 2008년 NIST 기계 번역 평가 및 2011 IWSLT 평가 (중국어-영어)에서 각각 1 위를 차지한 MSR-NRC-SRI 항목과 MSR 항목의 개발을 이끌었습니다. 그와 동료들은 또한 2015 년 COCO 캡션 챌린지에서 Google과 공동으로 1등상을 수상했으며 2017 년 VQA (Visual Question Answering) 챌린지에서 1등상을 수상했습니다. 그의 작업은 2016 년 1 월 ACM Communications에서 보도했습니다. 그는 이미지 캡션 작업을 주도하고 있습니다. Microsoft Cognitive Services는 세계 최초의 이미지 캡션 클라우드 서비스를 제공하고 CaptionBot, Seeing AI와 같은 차세대 시나리오를 가능하게하고 Microsoft Word 및 PowerPoint에서 수백만명의 사용자들이 자동으로 이미지 설명을 만들 수 있도록합니다. 이 작업은 Business Insider, TechCrunch, Forbes, The Washington Post, CNN, BBC를 포함한 미디어에서 광범위하게 다루어졌습니다. 그는 여러 IEEE 저널에서 편집직을 역임했으며 NAACL-HLT 2015의 지역 위원장을 역임했으며 주요 연설 및 언어 처리 컨퍼런스의 조직위원회 / 프로그램위원회에서 활동했습니다. 그는 2015 년부터 2017 년까지 IEEE SLTC의 선출된 회원입니다. 그는 IEEE의 선임 회원이자 ACL의 회원입니다. 그는 2016년 IEEE 시애틀 섹션 의장으로 선출되었습니다.

About this course

This course is part of the Microsoft Professional Program in Artificial Intelligence.

Natural language processing (NLP) is one of the most important technologies of the information age. Understanding complex language utterances is also a crucial part of artificial intelligence.

In this course, you will be given a thorough overview of Natural Language Processing and how to use classic machine learning methods. You will learn about Statistical Machine Translation as well as Deep Semantic Similarity Models (DSSM) and their applications.

We will also discuss deep reinforcement learning techniques applied in NLP and Vision-Language Multimodal Intelligence.

What you'll learn

  • Apply deep learning models to solve machine translation and conversation problems.
  • Apply deep structured semantic models on information retrieval and natural language applications.
  • Apply deep reinforcement learning models on natural language applications.
  • Apply deep learning models on image captioning and visual question answering.

Course Syllabus

Module 1: Introduction to NLP and Deep Learning
An overview of Natural Language Processing using classic machine learning methods and cutting-edge deep learning methods.

Module 2: Neural models for machine translation and conversation
Introduction to Statistical Machine Translation and neural models for translation and conversation

Module 3: Deep Semantic Similarity Models (DSSM)
Introduction to Deep Semantic Similarity Model (DSSM) and its applications.

Module 4: Natural Language Understanding
Introduction to methods applied in Natural Language Understanding, such as continuous word representations and neural knowledge base embedding.

Module 5: Deep reinforcement learning in NLP
Introduction to deep reinforcement learning techniques applied in NLP

Module 6: Vision-Language Multimodal Intelligence
Introduction to neural models applied in Image captioning and visual question answering

Prerequisites

Students need to have math and computer programming skills and fundamental knowledge on machine learning and deep learning before taking this course.

Meet the instructors

Lei Ma

Lei Ma

Senior Content Developer
Microsoft

Lei is a Senior Content Developer at Microsoft. She’s been working on developer tools and technologies since she joined Microsoft in 2009. She is passionate about helping developers achieve more in a mobile-first and cloud-first world. She has authored a number of articles for Microsoft Developer Network (MSDN) about Visual Studio, Team Foundation Server, ALM, etc. She has designed and created exams for Microsoft Certified Solutions Developer (MCSD) program. She is currently authoring online courses about DevOps, cloud services, and modern software development.

Roland Fernandez

Roland Fernandez

Senior Researcher and AI School Instructor, Deep Learning Technology Center
Microsoft Research AI

Roland works as a researcher and AI School instructor in the Deep Learning Technology Center of Microsoft Research AI. His interests include reinforcement learning, autonomous multitask learning, symbolic representation, AI education, information visualization, and HCI. Before coming to the DLTC, Roland worked in the VIBE group of MSR doing visualization and HCI projects, most notably the SandDance project. Before MSR, Roland worked (at Microsoft and other companies) in the areas of Natural User Interfaces, Activity Based Computing, Advanced Prototyping, Programmer Tools, Operating Systems, and Databases.

Xiaodong He

Xiaodong He

Principal Researcher
Microsoft

Xiaodong He is a Principal Researcher in the Deep Learning Technology Center of Microsoft Research AI, Redmond, WA, USA. He is also an Affiliate Professor in the Department of Electrical Engineering at the University of Washington (Seattle), serves in doctoral supervisory committees. His research interests are mainly in artificial intelligence areas including deep learning, natural language processing, computer vision, speech, information retrieval (IR), and knowledge representation. He has published more than 100 papers in ACL, EMNLP, NAACL, CVPR, SIGIR, WWW, CIKM, NIPS, ICLR, ICASSP, Proc. IEEE, IEEE TASLP, IEEE SPM, and other venues. He received several awards including the Outstanding Paper Award at ACL 2015. He and colleagues invented the DSSM which is broadly applied to language, vision, IR and knowledge representation tasks. He has led the development of the MSR-NRC-SRI entry and the MSR entry that won the No. 1 Place in the 2008 NIST Machine Translation Evaluation and the 2011 IWSLT Evaluation (Chinese-to-English), respectively. He and colleagues also won the first prize, tied with Google, at the COCO Captioning Challenge 2015, and won the first prize at the Visual Question Answering (VQA) Challenge 2017. His work was reported by Communications of the ACM in January 2016. He is leading the image captioning effort now is part of Microsoft Cognitive Services, which provides the world’s first image-captioning cloud service, and enables next-generation scenarios such as CaptionBot, Seeing AI, and empowers Microsoft Word and PowerPoint to create image descriptions automatically for millions of users. The work was widely covered in media including Business Insider, TechCrunch, Forbes, The Washington Post, CNN, BBC. He has held editorial positions on several IEEE Journals, served as an area chair for NAACL-HLT 2015, and served in the organizing committee/program committee of major speech and language processing conferences. He is an elected member of the IEEE SLTC for the term of 2015-2017. He is a senior member of IEEE and a member of ACL. He was elected as the Chair of the IEEE Seattle Section in 2016.

키워드: 인공지능
수강신청