- * 프린트는 Chrome에 최적화 되어있습니다. print
세상의 거의 모든 현상들은 언어로 표현될 수 있습니다. 사람들은 보고, 듣고, 느낀 것을 언어로 표현을 할 수 있고 읽은 것을 상상하고 느끼거나 다른 매체를 통해 표현 할 수도 있습니다. 따라서, 언어는 다른 정보들을 연계하거나 통합할 수있는 좋은 매개체 이며, 서로 다른 정보들의 관계를 다루는 머신러닝과 인공지능 문제들에서 중요한 역할을 합니다. 언어지능 연구실은 자연어처리, 멀티모달 러닝 등 언어와 관련된 여러 AI 문제들을 연구하고 있습니다. 다양한 문제 해결을 통해 언어 및 시각, 동작 등을 이해하는 시스템을 만들고, 더 나아가 통합된 형태의 지능을 구현하는 목표를 가지고 연구하고 있습니다.
Since most worldly phenomena can be expressed via language, language is a crucial medium for transferring information and integrating multiple information sources. For example, humans can describe what they see, hear and feel with words. Reversely, they can imagine scenes, sounds and feelings from what they read. Therefore, language plays an important role in solving machine learning (ML) and artificial intelligence (AI) problems with multimodal input sources. In our Language & Intelligence Lab, we study various topics on AI problems regarding NLP and multimodal learning. By addressing the different problems, we aim to build integrated systems that understand language, vision, action, etc.
Major research field
자연어처리, 멀티모달 러닝 / Natural Language Processing, Multimodal Learning
Desired field of research
설명/해석 가능한 인공지능 / Explainable/Interpretable AI
Research Keywords and Topics
· 언어모델, 멀티모달 언어모델
· 텍스트 생성, 텍스트기반 이미지 생성
· 체현화된(Embodied) 인공지능 (네비게이션, 물체 조작 등)
· 대화형 인공지능 시스템
· 상식기반 추론
· 해석/설명가능한 인공지능
Large Language Models (LLMs), Multimodal LLMs
Embodied AI (navigation, manipulation, etc.)
Dialogue, Conversation
Commonsense Reasoning
Grounding, Compositionality, Interpretability
Research Publications
· Conversation Chronicles: Towards Diverse Temporal and Relational Dynamics in Multi-Session Conversations, Jihyoung Jang, MinSeong Boo, and Hyounghun Kim. Proceedings of EMNLP 2023
· CoSIm: Commonsense Reasoning for Counterfactual Scene Imagination, Hyounghun Kim*, Abhay Zala*, and Mohit Bansal. Proceedings of NAACL 2022
· CAISE: Conversational Agent for Image Search and Editing, Hyounghun Kim, Doo Soon Kim, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, and Mohit Bansal. Proceedings of AAAI 2022
· NDH-Full: Learning and Evaluating Navigational Agents on Full-Length Dialogue, Hyounghun Kim, Jialu Li, and Mohit Bansal. Proceedings of EMNLP 2021
· FixMyPose: Pose Correctional Captioning and Retrieval, Hyounghun Kim*, Abhay Zala*, Graham Burri, and Mohit Bansal. Proceedings of AAAI 2021
· ArraMon: A Joint Navigation-Assembly Instruction Interpretation Task in Dynamic Environments, Hyounghun Kim, Abhay Zala, Graham Burri, Hao Tan, and Mohit Bansal. Findings of EMNLP 2020
Patents
· [출원] 스토리 생성 방법 및 시스템. 김형훈, 배민욱. 2024/06
· [출원] 연대기적 역학 기반의 멀티 세션 대화 모델을 이용하여 챗봇 서비스를 제공하는 전자 장치 및 방법. 김형훈, 장지형. 2024/01
국가과학기술표준분류
- EE. 정보/통신
- EE01. 정보이론
- EE0108. 인공지능