[AI 스터디] 1. HuggingFace란 무엇인가?

Hugging Face와 자연어처리(NLP) 시작하기

회사에서 스터디 그룹 활동을 지원해준다는 소식을 듣고, 저희 팀도 마음을 모아 AI 공부를 시작해보기로 했습니다.
막연히 "우리도 이제 AI 좀 알아야 하지 않을까?"라는 생각은 있었지만, 어디서부터 어떻게 시작해야 할지 막막했던 게 사실입니다.

그중에서도 자연어 처리(NLP)를 다루는 Hugging Face를 중심으로 한 튜토리얼이 잘 되어 있다는 이야기를 듣고, 이걸 중심으로 3개월간 학습 로드맵을 잡게 되었습니다.

이번 글에서는 제가 선택한 Hugging Face 튜토리얼의 전체 구성과 어떤 흐름으로 공부를 진행했는지, 또 어떤 점에서 실질적인 도움이 되었는지를 공유해보고 평범한 백엔드 개발자, 프론트 개발자, 기획자들이 AI를 향해 벌이는 진지한(?) 삽질 일지를 공유해보려 합니다.

이번 포스팅은 제가 시작한 AI 스터디의 방향성과, HuggingFace 튜토리얼을 통해 어떤 것들을 배울 수 있는지를 중심으로 구성해보았습니다.

 

HuggingFace란 무엇인가요?

허깅페이스는 사전학습된 모델을 다운로드하고, 재학습(파인튜닝)하거나, 직접 모델을 서빙(서비스화)하는 데 사용할 수 있는 오픈소스 생태계입니다.
트랜스포머 라이브러리, 데이터셋, 토크나이저, 가속기(accelerator) 등 필요한 도구들을 한곳에 모아놓은 AI 개발 종합세트라고 보시면 됩니다.

기존에 학습된 다양한 트랜스포머 모델들을 쉽게 불러와 쓸 수 있고, 파인튜닝이나 재학습도 간편하게 진행할 수 있습니다.

이 플랫폼이 특히 매력적인 이유는, 학습된 모델을 다운로드해 사용하는 것은 물론이고, 자신만의 데이터를 활용해 모델을 재학습시킨 후 서비스화까지 이어갈 수 있다는 점입니다.

예를 들어 사내 데이터로 챗봇을 만들거나, 문서 분류 모델을 구축하고 싶은 경우에도 Hugging Face의 생태계를 통해 손쉽게 시작할 수 있습니다.

 

자연어처리(NLP)란 무엇인가?

자연어처리는 인간의 언어를 컴퓨터가 이해하고 처리하도록 하는 기술입니다.
예를 들어 스팸 메일 분류, 뉴스 요약, 고객 문의 자동 응답, 감정 분석, 자동 문장 생성 등 매우 다양한 영역에서 활용되고 있습니다.

다만 사람이 언어를 이해하는 방식과 컴퓨터가 언어를 처리하는 방식에는 본질적인 차이가 있습니다.
예를 들어 "나는 배고프다"라는 문장을 들으면 우리는 즉각적으로 그 의미를 파악하지만, 컴퓨터는 이 문장을 단순한 문자 배열로만 받아들입니다.

결국 자연어처리란, 이런 인식의 차이를 줄이기 위해 수많은 언어적 맥락과 통계적 특징을 학습시키는 과정이라 할 수 있습니다.

 

스터디 로드맵: Hugging Face 튜토리얼 흐름

저희는 Hugging Face의 공식 튜토리얼을 12개 챕터로 나누어 3개월간 공부하는 계획을 세웠습니다.
튜토리얼은 전반적으로 잘 구성되어 있고, 일부는 한글로 번역되어 있어서 처음 접근하는 분들에게도 진입장벽이 낮은 편입니다. 다만 전체가 완전한 한글 문서는 아니므로 영어 문서나 코드 예제를 읽는 데 익숙해지는 것도 필요합니다.

챕터 1~4: 트랜스포머 개념과 모델 실습

• 트랜스포머 모델의 핵심 개념과 동작 원리를 설명합니다.
• 사전학습된 모델을 가져와 파인튜닝하는 법과, 학습된 결과를 Hugging Face Hub에 업로드해 공유하는 방법까지 배울 수 있습니다.
• 이 과정을 통해 단순 사용자가 아니라, 실제 모델을 활용하고 응용할 수 있는 단계로 넘어가게 됩니다.

챕터 5~8: 데이터셋과 토크나이저 이해

• 자연어 데이터를 처리하기 위한 데이터셋 구성 방식과 토크나이저(tokenizer)의 개념을 다룹니다.
• 특히 한글과 같이 복잡한 언어의 처리 방식도 실습하면서 직접 데이터를 가공해보고 모델 학습에 활용하는 과정을 익힐 수 있습니다.
• 이 파트를 잘 소화하면, 대부분의 NLP 과제를 혼자서도 다뤄볼 수 있는 기본기를 갖추게 됩니다.

챕터 9~12: NLP 너머로 확장하기

• 트랜스포머 모델이 텍스트 외에도 음성, 이미지 등의 영역에서 어떻게 활용되는지를 다룹니다.
• 텍스트 분류에만 머무르지 않고, 멀티모달 AI까지 확장하고 싶은 분들에게 좋은 참고가 됩니다.

 

 

실습 환경: Google Colab 지원

튜토리얼에서 제공하는 대부분의 실습은 Google Colab 환경에서 바로 실행해볼 수 있습니다.
코드가 미리 작성된 노트북을 열어 사본 저장을 하면, 구글 드라이브에 자신의 버전으로 저장되어 편하게 실습을 진행할 수 있습니다.

Colab은 GPU도 제공하기 때문에, 별도의 장비나 로컬 설정 없이도 모델 학습과 실험이 가능합니다.

 

 

결론..

AI는 어렵고 거창하다는 인식이 많지만 Hugging Face와 같은 생태계를 잘 활용하면 비교적 빠르게 결과를 만들어볼 수 있습니다.
저도 처음엔 아무것도 모르고 시작했지만, 튜토리얼을 따라가면서 조금씩 자신감을 얻고 있습니다.

특히 자연어 처리 분야는 업무에서 곧바로 활용 가능한 가능성이 많기 때문에, 비전공자나 자바 개발자에게도 실질적인 도움이 될 수 있는 분야라고 생각합니다.