app.py

import streamlit as st

import torch
from transformers import PreTrainedTokenizerFast
from transformers import BartForConditionalGeneration


@st.cache(allow_output_mutation=True)
def get_model(model_path):
	tokenizer = PreTrainedTokenizerFast.from_pretrained(model_path)
	model = BartForConditionalGeneration.from_pretrained(model_path)

	return tokenizer, model


def summarize(text):
	input_ids = tokenizer.encode(text, return_tensors="pt")
	# Generate Summary Text Ids
	summary_text_ids = model.generate(
	    input_ids=input_ids,
	    bos_token_id=model.config.bos_token_id,
	    eos_token_id=model.config.eos_token_id,
	    length_penalty=2.0,
	    max_length=128,
	    min_length=56,
	    num_beams=4,
	)
	# Decoding Text
	summarized_text = tokenizer.decode(summary_text_ids[0], skip_special_tokens=True)

	return summarized_text



# Load tokenizer, model
tokenizer, model = get_model('ainize/kobart-news')


## Title
st.title('☁️ Bespin → TextSummarization')

# Text Input
st.subheader('Summarize!')
context_option = st.selectbox('📌 Select Example or Enter Your Input.',
    (
        '''베스핀글로벌(대표 이한주)은 공공 클라우드 운영, 관리를 위한 자동화 솔루션 옵스나우-G(OpsNow-G) 서비스를 출시했다고 30일 밝혔다.\n\n이번 옵스나우-G 서비스 출시로 옵스나우는 국내에서 유일하게 네이버클라우드, NHN클라우드, KT클라우드를 모두 지원할 수 있게 되었다.\n\n고객친화적으로 시간 및 장소에 구애받지 않고 채팅과 서비스 신청서를 통해 기술 지원을 요청할 수 있어, 공공기관 사용자가 옵스나우-G 를 통하여 어렵지 않게 클라우드를 관리할 수 있게 돕는다.\n추가적으로 전반적인 클라우드 관련 기술과 활용에 대한 베스핀글로벌의 전문적인 도움까지도 쉽고 간편하게 요청할 수 있다.\n\n베스핀글로벌의 멀티 클라우드 운영∙관리 플랫폼 옵스나우(OpsNow)는 국내 유일의 SaaS형태로 제공되는 멀티 클라우드 전문 솔루션으로 ▲클라우드 비용 및 자원 관리 ▲클라우핀글로벌의 멀티 클라우드 운영∙관리 플랫폼 옵스나우(OpsNow)는 국내 유일의 SaaS형태로 제공되는 멀티 클라우드 전문 솔루션윕적으로 지원한다.''',
        '''구글 클라우드는 카카오의 인공지능(AI) 연구 자회사 카카오브레인이 구글 클라우드의 맞춤형 머신러닝 하드웨어(ASIC) \'클라우드 TPU(Tensor Processing Unit)\'를 도입해 초거대 AI 언어 모델 \'KoGPT\'의 연구개발 역량을 강화했다고 26일 밝혔다. \n\nKoGPT는 미국의 AI 연구기관 오픈AI(OpenAI)가 개발한 딥러닝 기반 자연어처리(NLP) AI 모델 \'GPT-3\'의 한국어 특화 버전으로, 카카오브레인은 최근 오픈소스 커뮤니티 깃허브(GitHub)에 KoGPT를 공개했다. \n\nKoGPT 모델을 학습시키는 데에는 수십억 이상의 데이터와 모델 파라미터(Parameter; 매개변수)가 활용됐다. 카카오브레인은 대규모 데이터 및 모델 학습에 적합한 리소스를 확보하기 위해 기존의 GPU 서버 환경에 클라우드 TPU를 추가로 도입했다.\n\n카카오브레인은 구글에서 개발한 텐서 처리 장치인 \'구글 TPU\'를 활용해 1엑사 플롭스(컴퓨터의 연산 속도 단위/초당 100경 연산처리)를 뛰어넘는 국내 최대 규모의 딥러닝 슈퍼컴퓨팅 인프라를 도입해 \'KoGPT\'에 적용한 AI 연구 효율을 기존 대비 100배 이상 높인다는 목표다.\n\n\'구글 TPU\'는 구글 클라우드에서 사용할 수 있는 대용량 연산 인프라글 TPU\'는 구글 클라우드에서 사용할 수 있는 대용량 연산 인프라글 TPU\'는 구글 클라우드에서 사용할 수 있는 대용량 연산 인프라글 TPU\'는 구글 클라우드에서 사용할 수 있는 대용럄 갖춘 상위 시스템을 슈퍼컴퓨터 한 대에 구축해 활용한다.\n\n클라우드 TPU는 팟(Pod) 단위로 할당 및 관리가 가능하며 최소한의 코드 변경으로 최대 2천48개의 연산 노드까지 손쉽게 확장할 수 있다. 또한 별도의 인프라를 설치할 필요 없이 퍼블릭 클라우드 환경에서 모든 시스템을 사용할 수 있기 때문에 KoGPT의 개발 시간과 비용을 동시에 절감할 수 있다.\n\n높은 연산 처리 성능으로 AI 연구모델 연산 속도를 획기적으로 향상시킬 수 있고, 클라우드 방식을 활용함으로써 다수의 연구자들이 유연하게 시스템에 접속/사용이 가능해 연구 효율을 높일 것으로 기대된다.\n\n김일두 카카오브레인 대표는 "구글 클라우드에서 제공하는 클라우드 TPU는 딥러닝에 최적화되어 있어 짧은 기간 안에 고효율의 학습 파이프라인을 구축할 수 있었다"라며 "구글 클라우드와 지속적으로 협력해 초거대 AI 모델의 연구 효율을 한층 더 끌어올릴 예정"이라고 두 카카오브레인 대표는 "구글 클라우드에서 제공하는 클라우드 TPU는 딥러닝에 최적화되어 있어 짧은 기간 안에 고효율의 학습 파이프라인을 구축할 수 있었다"라며 "구글 클라우드와 지속적으로 협력해 초거대 AI 모델의 연구 효율을 한층 더 끌어올릴 예정"이라고 두 카카오브레읕 수 있도록 적극 지원하겠다"라고 강조했다.''',
        '''식목일을 하루 앞두고 경기도 하남시 위례신도시 인근 야산에서 불이 발생해 소방당국이 진화에 나섰다.\n \n4일 소방당국 등에 따르면 이날 오후 7시 40분쯤 하남시 위례신도시 남한산성 자락에서 큰 불이 났다.\n \n현재까지 인명피해는 확인되지 않았지만, 산 일대로 불이 번지고 있는 것으로 파악됐다.\n \n불이 나자 소방당국은 대원 81명, 펌프차 등 장비 27여 대를 동원해 진화 작업을 하고 있다.\n \n야간에 큰 불이 나자 119에 긴급신고 50여 건이 접수되는 등 시민들 사이에서 불안이 확산되고 있다.\n\n위례신도시 주민 이모(43)씨는 "창문을 통해 밖을 바라보니 불꽃놀이를 하는 것처럼 환했다"며 "나가서 확인하니 이미 구급차가 아파트 주변을 에워싸고 있었다"고 말했다.\n \n같은 지역 주민 박모(33·여)씨도 "최근 강원도에서 큰 불이 나 시민들이 피해를 입었는데, 우리도 같은 처지같은 지역 주민  걱정된다"며 "다행히 바람이 아파트 쪽이 아니라 산쪽으로 향하고 있어 재가 날리는 등의 피해는 없다"고 말했다.\n \n이 밖에 지역 온라인 커뮤니티에는 "왜 자꾸 불이 나나. 속상하고 무섭다", "에 지역 온라인 커뮤니티에는 "왜 자꾸 불이 나나. 속상하고 무섭다", "에 지 아에 지역 온라인 커뮤니티에는 "왜 자꾸 불이 나나. 속상하고 무섭다", "에 지역겪에 지역 온라인 커뮤니티에는 "왜 자꾸 불이 나나. 속상하고 무섭다", "에 지역 온라인  화재를 더 빠른 시간에 진압할 수 있지만, 늦은 밤이라 어려운 상황"이라며 "다만 최근 발생한 산불처럼 범위가 넓은 지역이 아니라 소방인력으로 진화가 가능하다. 빠르면 내일 아침까지는 진압이 가능할 것 같다"고 말했다.\n \n경기도 관계자도 "산성 훼손이나 인명피해 가능성은 낮은 상태"라며 "특수 진화대를 투입한 상황이라 진화에는 큰 어려움은 없을 것으로 판단하고 있다"고 했다.''',
        '''정부가 차량용 배터리 재활용을 위한 기술 표준 마련 작업에 착수했다. 전기차 보급 속도가 빨라지면서 2030년엔 8만개 넘는 전기차 '사용 후 배터리'(폐배터리)가 배출될 것이란 전망이 나오는 가운데 배터리 제조 단계부터 재활용까지 적용 가능한 표준을 만들겠다는 계획이다.\n\n4일 정부에 따르면 산업통상자원부 산하 국가기술표준원(국표원)은 지난달 중순 '자동차 사용 후 배터리 재활용을 위한 국내·외 규제 및 표준화 대응 방안 연구' 용역을 발주했다. 국표원은 연구용역을 통해 올해 말까지 정부·산업계·학계 등 차량용 배터리 재활용에 관한 이해 관계자들의 의견을 수렴하고 양극재 등 배터리 산업 동향을 파악해 이르면 2025년 기술 표준을 만들 계획이다.\n\n정부와 업계는 전기차용 배터리의 사용 기간을 통상 10년으로 보고 있다. 2010년을 전후해 우리나라 전기차 보급이 시작된 점을 고려하면 2020년 이후 전기차 사용 후 배터리 배출이 본격화된다는 얘기다. 정부는 전기차 사용 후 배터리 배출량이 2020년 4700여개에 이어 2025년 1만3000여개로 늘어나고 2030년이면 8만여개 이상으로 급증할 것으로 보고 있다.'''
    )   
)
context = st.text_area("Context", value=context_option, height=300, on_change=None)


if st.button("Submit", key="context"):
	with st.spinner("Wait for it...⏳"):
		summarized_text = summarize(context)
		st.subheader('📝 Result')
		st.success(summarized_text)