대규모 언어 모델이 스테이블 디퓨전처럼 폭발적으로 혁신하는 순간이 다가오고 있습니다.

원글

기술 관련 해외 블로그들을 보면 맥북프로에서 페이스북의 LLaMA를 실행하고 그 후기를 올리는게 부쩍 많아졌는데요. 주말 동안에 흥미롭게 읽고 공부함.

좋은 글이 있어, 번역 원문을 올려봅니다.

글이 주는 몇몇 Insights들이 있는데, 개인적으로 이제 챗GPT와 같은 대규모 언어 모델은 누군가(또는 회사)에 의해 고성능 PC나 노트북에서 쉽게 설치하고 바로 실행가능(인터페이스까지 갖춘)한 패키지 버전들이 곧 나오겠구나. 

스테이블 디퓨전을 이용한 기업의 시스템 구축(AI 엔지니어링)이 지난달까지 고민하던 화제였는데, 이젠 뭐. 챗GPT 같은 대규모 언어 모델의 사내 구축이 곧 화제가 되겠내요.

 

+

 

1. 2022년 8월 스테이블 디퓨전 이미지 생성 모델의 공개 출시는 중요한 순간이었습니다. 

2. 이제 사람들은 자신의 하드웨어에서 텍스트로 이미지를 생성할 수 있습니다!

3. 혁신의 폭발은 오늘날에도 계속되고 있습니다. 가장 최근에는 컨트롤넷이 기능 면에서 미드저니와 DALL-E를 앞지르며 안정적인 확산에 성공한 것으로 보입니다.

4. 지난 8월의 스테이블 디퓨전의 공개는 제너레이티브 AI에 대한 새로운 관심의 물결을 일으켰고, 11월 말 ChatGPT의 출시로 인해 그 물결이 더욱 거세진 것 같습니다.

5. 이런 스테이블 디퓨전이 이제 대규모 언어 모델, 즉 ChatGPT 기술에서 다시 일어나고 있습니다.

6. 오늘 아침 처음으로 노트북에서 GPT-3급 언어 모델을 실행해 보았습니다!

 

+

 

LLaMA

1. ChatGPT와 같은 도구를 구동하는 GPT-3와 같은 언어 모델은 이미지 생성 모델보다 훨씬 많은 구축 및 운영 비용이 듭니다.

2. 이러한 모델 중 가장 우수한 모델은 대부분 OpenAI와 같은 민간 조직에 의해 구축되었으며, API 및 웹 인터페이스를 통해 액세스할 수 있지만 자신의 로컬 컴퓨터에서 실행될 수 있도록 공개되지는 않았습니다.

3, 이 모델들은 또한 크기가 큽니다. GPT-3 모델을 구할 수 있다고 해도 일반 하드웨어에서는 실행할 수 없습니다. 일반적으로 이 모델에는 각각 8,000달러 이상의 엔비디아의 A100급 GPU가 여러 개 필요하기 때문입니다.

4, 이 기술은 소수의 일부 회사가 전적으로 통제하기에는 너무 중요한 기술입니다.

5. 지난 몇 년 동안 수십 개의 개방형 대규모 언어 모델이 출시되었지만 다음과 같은 측면에서 저에게 적합한 모델은 없었습니다:

• 내 하드웨어에서 쉽게 실행
• 유용하게 사용할 수 있을 만큼 충분히 크며, GPT-3와 성능이 비슷한지
• 오픈 소스로 충분히 수정할 수 있는지

6. 이 모든 것이 어제 Facebook의 LLaMA 모델과 Georgi Gerganov의 llama.cpp의 결합 덕분에 이제 가능하게 되었습니다.

7. 다음은 LLaMA 논문의 초록입니다:

Quote

70억 개에서 65억 개에 이르는 파라미터로 구성된 기초 언어 모델 모음인 LLaMA를 소개합니다. 수조 개의 토큰으로 모델을 훈련하고, 접근하기 어려운 독점 데이터 세트에 의존하지 않고도 공개적으로 사용 가능한 데이터 세트만을 사용하여 최첨단 모델을 훈련할 수 있음을 보여줍니다. 특히 LLaMA-13B는 대부분의 벤치마크에서 GPT-3(175B)를 능가하는 성능을 보였으며, LLaMA-65B는 최고 모델인 친칠라- 70B 및 PaLM-540B와 경쟁할 수 있는 성능을 보였습니다. 우리는 모든 모델을 연구 커뮤니티에 공개합니다.

8. LLaMA는 완전히 '개방형'이 아니라는 점에 유의해야 합니다. 모델에 액세스하려면 몇 가지 엄격한 약관에 동의해야 합니다. 이 모델은 연구용 미리보기로 제공되며 상업적 목적으로 사용될 수 없습니다.

9. 그렇지만 누군가가 토렌토에 다운로드 링크가 포함된 비공식 PR을 올려서 다운로드가 가능해졌습니다.

10. 이제 이들은 공개되었고 법적으로 상용 제품을 만들 수는 없지만 요술램프의 지니는 이미 병에서 나온 상태입니다. 지금 들리는 격렬한 타이핑 소리는 전 세계 수천 명의 해커들이 자신의 하드웨어에서 GPT-3급 모델을 실행할 수 있을 때 어떤 삶이 펼쳐질지 알아내기 시작했다는 뜻입니다.

 

+

 

llama.cpp

1. 개인용 노트북에서 실행하기에는 여전히 너무 어렵다면 LLaMA 자체만으로는 큰 도움이 되지 않습니다.

2. Georgi는 불가리아 소피아에 거주하는 오픈 소스 개발자입니다( GitHub 프로필에 따르면). 그는 이전에 OpenAI의 Whisper 자동 음성 인식 모델을 C++로 포팅한 whisper.cpp를 공개했습니다. 이 프로젝트를 통해 Whisper는 매우 다양한 새로운 사용 사례에 적용될 수 있게 되었습니다.

3. 그는 LLaMA에서도 똑같은 일을 해냈습니다.

Georgi의 llama.cpp 프로젝트가 어제 처음 출시되었습니다. README에서 확인하세요:

주요 목표는 MacBook에서 4비트 양자화를 사용하여 모델을 실행하는 것입니다.

4. 4비트 양자화는 모델의 크기를 줄여 더 낮은 성능의 하드웨어에서 실행할 수 있도록 하는 기술입니다. 또한 디스크에 저장되는 모델 크기도 7B 모델의 경우 4GB, 13B 모델의 경우 8GB 미만으로 줄어듭니다.

5. 잘 작동합니다!

6. 어제 밤에 노트북에서 7B LLaMA 모델을 실행하는 데 사용했고, 오늘 아침에는 Facebook이 GPT-3와 경쟁력이 있다고 주장하는 13B 모델로 업그레이드했습니다.

7. 필요한 대부분의 정보는 이미 사용 설명서에 자세히 나와 있습니다.

8. 노트북이 저에게 텍스트를 뱉어내기 시작하자 세상이 다시 바뀔 것 같은 느낌이 들었습니다.

9. 제가 소유한 하드웨어에서 GPT-3급 모델을 실행하려면 몇 년이 더 걸릴 것이라고 생각했습니다. 

10. 아니요. 제가 틀렸습니다. 그 미래는 이미 다가왔습니다.

 

+

 

이게 최악의 상황인가요?

1. 저는 공상 과학 시나리오에 대해 걱정하지 않습니다. 제 노트북에서 실행 중인 언어 모델은 자유를 찾아 세상을 정복할 AGI가 아닙니다.

2. 하지만 이 기술이 악용될 수 있는 실제적인 방법은 무수히 많습니다. 몇 가지만 소개합니다:

• 스팸 생성
• 자동화된 연애 사기(로맨스 스캠)
• 트롤링 및 혐오 표현
• 가짜 뉴스 및 허위 정보
• 자동화된 급진화(이 부분에 대해 많이 걱정합니다)

3. 이 기술은 사실에 근거한 정보를 앵무새처럼 쉽게 만들어내고, 그 차이를 구분할 방법이 없다는 것은 말할 것도 없습니다.

4. 이전에는 OpenAI와 같은 회사가 사람들이 이러한 모델과 상호 작용하는 방식을 제어할 수 있는 능력을 제한했습니다. 얇은 방어막이 존재했습니다.

5. 이제 자체 하드웨어(내 PC)에서 실행할 수 있으므로 이러한 제어 기능도 사라졌습니다.

 

+

 

이를 어떻게 선하게 사용할 수 있을까요?

1. 저는 이것이 사회에 큰 영향을 미칠 것이라고 생각합니다. 저는 그 영향력을 긍정적인 방향으로 이끌기 위해 노력하는 것이 우선이라고 생각합니다.

2. 좋은 것은 하나도 없고, 생성형 AI는 모두 해롭거나 시간 낭비라고 생각하는 냉소적인 함정에 빠지기 쉽습니다.(사회적 문제가 생긴다면)

3. 저는 개인적으로 제너레이티브 AI 도구를 다양한 용도로 매일 사용하고 있습니다. 생산성을 크게 향상시켜 주기도 했지만, 그보다 더 중요한 것은 제가 진행하는 프로젝트의 범위가 넓어졌다는 점입니다.

4. 저는 지난 주에 ChatGPT를 사용하여 새 프로젝트를 출시할 수 있는 충분한 AppleScript를 1시간 이내에 배웠습니다!

5. 저는 이 기술을 진정으로 긍정적으로 활용할 수 있는 방법을 계속 탐구하고 공유할 것입니다. 이 기술을 발명하지 않을 수는 없으므로 가장 건설적인 사용 방법을 찾는 것이 우선이라고 생각합니다.

 

+

 

다음에 살펴봐야 할 사항

1. Facebook이 라이선스 조건을 완화하지 않는다고 가정할 때, LLaMA는 향후 사람들이 사용할 새로운 기반 모델이라기보다는 사람들의 PC나 고성능 노트북에서서 로컬 언어 모델 실행이 가능하다는 개념 증명으로 끝날 가능성이 높습니다.

2. 사람들이 자신의 기기에서 ChatGPT와 유사한 기능을 사용할 수 있는 최초의 완전 개방형 언어 모델을 출시하기 위한 경쟁이 시작되었습니다.

- AI 코리아 커뮤니티, Key의 AI 연구소