1.0라이브스마트https://atmokpo.com/wroothttps://atmokpo.com/w/author/root/허깅페이스 트렌스포머 활용강좌, 학습 모델 이전에 BART 토크나이징 - 라이브스마트rich600338<blockquote class="wp-embedded-content" data-secret="JBBDY6plK8"><a href="https://atmokpo.com/w/29712/">허깅페이스 트렌스포머 활용강좌, 학습 모델 이전에 BART 토크나이징</a></blockquote><iframe sandbox="allow-scripts" security="restricted" src="https://atmokpo.com/w/29712/embed/#?secret=JBBDY6plK8" width="600" height="338" title="“허깅페이스 트렌스포머 활용강좌, 학습 모델 이전에 BART 토크나이징” — 라이브스마트" data-secret="JBBDY6plK8" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe><script>
/*! This file is auto-generated */
!function(d,l){"use strict";l.querySelector&&d.addEventListener&&"undefined"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!/[^a-zA-Z0-9]/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),o=l.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),c=new RegExp("^https?:$","i"),i=0;i<o.length;i++)o[i].style.display="none";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute("style"),"height"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):"link"===t.message&&(r=new URL(s.getAttribute("src")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener("message",d.wp.receiveEmbedMessage,!1),l.addEventListener("DOMContentLoaded",function(){for(var e,t,s=l.querySelectorAll("iframe.wp-embedded-content"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute("data-secret"))||(t=Math.random().toString(36).substring(2,12),e.src+="#?secret="+t,e.setAttribute("data-secret",t)),e.contentWindow.postMessage({message:"ready",secret:t},"*")},!1)))}(window,document);
//# sourceURL=https://atmokpo.com/w/wp-includes/js/wp-embed.min.js
</script>
최근 인공지능과 자연어 처리(NLP) 분야는 눈부신 발전을 이루었습니다. 특히, 트랜스포머(Transformers) 아키텍처는 다양한 NLP 작업에서 혁신적인 결과를 가져왔습니다. 이번 글에서는 허깅페이스(Hugging Face) 라이브러리의 BART(Bidirectional and Auto-Regressive Transformers) 모델을 중심으로, 데이터 전처리에서 중요한 역할을 하는 토크나이징(Tokenization) 과정에 대해 자세히 알아보도록 하겠습니다. BART는 단순한 비지도 학습과 다수의 감독 학습 작업에서 GPT와 BERT의 장점을 결합한 모델로서, 텍스트 요약, 번역, … 더 보기 ""