Language & Intelligence Lab

언어지능 연구실

관련기사 바로가기

세상의 거의 모든 현상들은 언어로 표현될 수 있습니다. 사람들은 보고, 듣고, 느낀 것을 언어로 표현을 할 수 있고 읽은 것을 상상하고 느끼거나 다른 매체를 통해 표현 할 수도 있습니다. 따라서, 언어는 다른 정보들을 연계하거나 통합할 수있는 좋은 매개체 이며, 서로 다른 정보들의 관계를 다루는 머신러닝과 인공지능 문제들에서 중요한 역할을 합니다. 언어지능 연구실은 자연어처리, 멀티모달 러닝 등 언어와 관련된 여러 AI 문제들을 연구하고 있습니다. 다양한 문제 해결을 통해 언어 및 시각, 동작 등을 이해하는 시스템을 만들고, 더 나아가 통합된 형태의 지능을 구현하는 목표를 가지고 연구하고 있습니다.
Since most worldly phenomena can be expressed via language, language is a crucial medium for transferring information and integrating multiple information sources. For example, humans can describe what they see, hear and feel with words. Reversely, they can imagine scenes, sounds and feelings from what they read. Therefore, language plays an important role in solving machine learning (ML) and artificial intelligence (AI) problems with multimodal input sources. In our Language & Intelligence Lab, we study various topics on AI problems regarding NLP and multimodal learning. By addressing the different problems, we aim to build integrated systems that understand language, vision, action, etc.

Major research field

자연어처리, 멀티모달 러닝 / Natural Language Processing, Multimodal Learning

Desired field of research

설명/해석 가능한 인공지능 / Explainable/Interpretable AI

Research Keywords and Topics

텍스트 생성, 텍스트기반 이미지 생성
체현화된(Embodied) 인공지능 (네비게이션, 물체 조작 등)
대화형 인공지능 시스템
상식기반 추론
해석/설명가능한 인공지능
Embodied AI (navigation, manipulation, etc.)
Dialogue, Conversation
Commonsense Reasoning
Grounding, Compositionality, Interpretability

Research Publications

- CoSIm: Commonsense Reasoning for Counterfactual Scene Imagination, Hyounghun Kim*, Abhay Zala*, and Mohit Bansal. Proceedings of NAACL 2022.
- CAISE: Conversational Agent for Image Search and Editing, Hyounghun Kim, Doo Soon Kim, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, and Mohit Bansal. Proceedings of AAAI 2022.
- NDH-Full: Learning and Evaluating Navigational Agents on Full-Length Dialogue, Hyounghun Kim, Jialu Li, and Mohit Bansal. Proceedings of EMNLP 2021.
- FixMyPose: Pose Correctional Captioning and Retrieval, Hyounghun Kim*, Abhay Zala*, Graham Burri, and Mohit Bansal. Proceedings of AAAI 2021.
- ArraMon: A Joint Navigation-Assembly Instruction Interpretation Task in Dynamic Environments, Hyounghun Kim, Abhay Zala, Graham Burri, Hao Tan, and Mohit Bansal. Findings of EMNLP 2020.
- Improving Visual Question Answering by Referring to Generated Paragraph Captions, Hyounghun Kim, and Mohit Bansal. Proceedings of ACL 2019 (short paper).

국가과학기술표준분류

  • EE. 정보/통신
  • EE01. 정보이론
  • EE0108. 인공지능