과제 상세정보
목록지식메모리 기반 언어모델
작성자
관리자
조회수
44
등록일
2024-05-22
사업 정보
| 내역사업 | 신임교원정착연구비 |
|---|
과제 기본정보
| 과제명 | 지식메모리 기반 언어모델 | ||||
|---|---|---|---|---|---|
| 과제고유번호 | 1711151013 | ||||
| 부처명 | 과학기술정보통신부 | ||||
| 시행계획 내 사업명 | |||||
| 시행계획 내 사업유형 | 예산출처지역 | 대전광역시 | 사업수행지역 | 대전광역시 | |
| 계속/신규 과제구분 | 신규과제 | ||||
| 과제수행연도 | 2021 | 총연구기간 | 2021-01-18 ~ 2024-12-31 | 당해연도 연구기간 | 2021-01-18 ~ 2021-12-31 |
요약 정보
| 연구목표 | 대형 언 어모델의 이 두가지 문제점, 즉 효율성과 추론능력 확보를 위해 지식 (Knowledge) 메모 리 기반 언어모델을 연구하고자 제안한다. | ||
|---|---|---|---|
| 연구내용 | 언어모델을 인간의 뇌와 비유한다면, 기존 Transformer기반 언어이해 모델은 위키피디 아의 모든 정보를 머리속에 담아 “외우는”전략이라고 볼 수 있다. 본 연구는 이 전략이 비효율적이라고 보고, 인간에게도 좀 더 효율적인 학습 전략인 외부 지식 소스 (인터넷, 책, 등)를 적극적으로 인터랙티브하게 활용하는 언어모델을 제안한다. 이러한 외부 지식 소스는... | ||
| 기대효과 | 언어모델의 발전은 설계의 복잡도가 아닌, 단순하게 모델 크기를 키우면서 이뤄졌다. 2017년의 언어모델 크기에 비 해 현재 2020년 모델 크기는 3년사이에 수백배가 넘게 커졌다. 이는 반도체에서 통용되 는 발전속도인 Moore ' s Law를 가뿐히 뛰어넘는 수준으로, 하드웨어의 발전이 소프트 웨어의 수요를 따라가지 못하고 있다. GPT-3의 경우 학습에... | ||
| 키워드 | 언어모델 | ||
위탁/공동여부 정보
| 단독연구 | 기업 | 대학 | 국공립(연)/출연(연) | 외국연구기관 | 기타 |
|---|---|---|---|---|---|
|
기술 정보
| 연구개발단계 | 기초연구 | 산업기술분류 | |
|---|---|---|---|
| 미래유망신기술(6T) | CT(문화기술) | 기술수명주기 | |
| 연구수행주체 | 연 | 과학기술표준분류 | 인공물 > 정보/통신 > 정보이론 > 인공지능 |
| 주력산업분류 | 적용분야 | 지식의 진보(비목적연구) | |
| 중점과학기술분류 | 과제유형 |
과제수행기관(업) 정보
| 과제수행기관(업) 정보 | 과제수행기관(업)명 | 한국과학기술원 | 사업자등록번호 | |
|---|---|---|---|---|
| 연구책임자 | 소속기관명 | 한국과학기술원 | 사업자등록번호 | |
| 최종학위 | 박사 | 최종학력전공 | 공학 |
사업비
| 국비 | 75,000,000 | 지방비(현금+현물) | 0 |
|---|---|---|---|
| 비고 | |||