LLaMA
덤프버전 :
1. 개요[편집]
LLaMA는 메타의 오픈소스 언어모델이다.
2. 제품[편집]
2.1. LLaMA-1[편집]
2023년 2월 24일에 공개했다. 매개변수는 70억부터 650억 개 버전까지 존재한다. 학계를 대상으로 오픈소스로 공개하면서 알파카, 비쿠냐 등 수 많은 파생형 모델들의 탄생에 기여했다.
2.2. LLaMA-2[편집]
2023년 7월 18일에 공개되었다. 매개변수는 70억부터 시작하지만, 상당한 고성능인 700억 개 짜리 모델까지 학계뿐만 아니라 기업 등 상용으로도 공개하여 큰 주목을 받고 있다. 특히 마이크로소프트와 우선 계약을 체결하여 큰 화재를 모았는데, 메타와 마이크로소프트 둘 다 2010년대 중반까지만 해도 상당히 폐쇄적인 운영을 해왔기에 개발자들은 놀라움을 자아내고 있는 상황이다.[1][2]
2.3. 파생형 모델[편집]
3. 인프라[편집]
원래 엔비디아의 GPGPU 자원을 통해 인프라를 구축했으나, 생산 차질로 인한 공급 이슈와 높은 가격, 비효율적인 전력 소모를 이유로 2023년 5월에 자사 첫 인공지능 가속기인 MTIAv1을 공개하면서 ASIC 방식 개발에 열을 올리고 있다. 연산 칩을 RISC-V 기반으로 커스텀 설계하여 64개의 각 그리드별로 다른 연산을 동시에 수행할 수 있다. 또한 SRAM을 캐시처럼 활용하는 방식을 택했고, 오프칩은 LPDDR5 DRAM을 탑재했다. 소프트웨어도 CUDA를 벗어나, 자사 라이브러리인 PyTorch를 통해 컴파일러, 커널, 스트리밍API, 드라이버까지 독자 생태계 구축을 가속화시키고 있다.
4. 학습 데이터[편집]
1조 4,000억 개의 토큰으로 학습되었다고 한다. 페이스북, 인스타그램 등 자사 패밀리앱 외에도 웹스크래핑/크롤링, 깃허브 코드, 위키피디아 텍스트, 퍼블릭 도메인 서적, LaTeX 코드로 작성된 논문, 질문질답 텍스트 등으로 학습되었다고 한다.
이 문서의 내용 중 전체 또는 일부는 2023-12-29 14:02:51에 나무위키 LLaMA 문서에서 가져왔습니다.[1] 마이크로소프트는 스티브 발머 시절에 모바일 시장에서 쓴 맛을 보며 둔화기를 맞았는데, 사티아 나델라 재임 이후 주력 사업을 클라우드 컴퓨팅으로 전환하면서 깃허브를 인수하는 등 직면한 위기를 타개하기 위한 목적으로 오픈소스로서의 전환을 선택한다. 2020년대에도 직접적인 연구개발보다는 OpenAI, Inflection AI 등에 투자하는 방식을 통해 자사 제품을 결합시키고 있다.[2] 메타도 생성형 인공지능 분야에서 OpenAI, 구글에게 뒤쳐지면서 라마의 오픈소스화를 전략적으로 선택한 것이다. 후발주자인 만큼, 오픈소스를 통해 빠른 생태계 확장을 추구한다.