data-silence/any-news-sum

README.md

@@ -1,189 +1,44 @@
 ---
-base_model: google/mt5-base
-pipeline_tag: summarization
+base_model: data-silence/any-news-sum3
 tags:
-- summarization
-- mT5
-datasets:
-- csebuetnlp/xlsum
-- data-silence/sumnews
-language:
-- am
-- ar
-- az
-- bn
-- my
-- zh
-- en
-- fr
-- gu
-- ha
-- hi
-- ig
-- id
-- ja
-- rn
-- ko
-- ky
-- mr
-- ne
-- om
-- ps
-- fa
-- pcm
-- pt
-- pa
-- ru
-- gd
-- sr
-- si
-- so
-- es
-- sw
-- ta
-- te
-- th
-- ti
-- tr
-- uk
-- ur
-- uz
-- vi
-- cy
-- yo
-licenses:
-- cc-by-nc-sa-4.0
-library_name: transformers
-inference:
-  parameters:
-    no_repeat_ngram_size: 4
-widget:
-- text: >-
-    Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как
-    у 81-этажного здания, и самое высокое сооружение в Париже. Его основание
-    квадратно, размером 125 метров (410 футов) с любой стороны. Во время
-    строительства Эйфелева башня превзошла монумент Вашингтона, став самым
-    высоким искусственным сооружением в мире, и этот титул она удерживала в
-    течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в
-    1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за
-    добавления вещательной антенны на вершине башни в 1957 году она сейчас выше
-    здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков,
-    Эйфелева башня является второй самой высокой отдельно стоящей структурой во
-    Франции после виадука Мийо.
-  example_title: Википедия
-- text: >-
-    С 1 сентября в России вступают в силу поправки в закон «О банкротстве» —
-    теперь должники смогут освобождаться от непосильных обязательств во
-    внесудебном порядке, если сумма задолженности составляет не менее 50 тыс.
-    рублей и не превышает 500 тыс. рублей без учета штрафов, пени, процентов за
-    просрочку платежа и прочих имущественных или финансовых санкций. У физлиц и
-    индивидуальных предпринимателей появилась возможность пройти процедуру
-    банкротства без участия суда и финансового управляющего — достаточно подать
-    соответствующее заявление через МФЦ. Сумму задолженности и список всех
-    известных заявителю кредиторов нужно предоставить самостоятельно. Если все
-    условия соблюдены, сведения внесут в Единый федеральный реестр в течение
-    трех рабочих дней. При этом на момент подачи заявления в отношении заявителя
-    должно быть окончено исполнительное производство с возвращением
-    исполнительного документа взыскателю. Это значит, что у потенциального
-    банкрота не должно быть имущества, которое можно взыскать. Кроме того, в
-    отношении гражданина не должно быть возбуждено другое исполнительное
-    производство. В период всей процедуры заявитель не сможет брать займы,
-    кредиты, выдавать поручительства, совершать иные обеспечительные сделки.
-    Внесудебное банкротство будет длиться шесть месяцев, в течение которых также
-    будет действовать мораторий на удовлетворение требований кредиторов,
-    отмеченных в заявлении должника, и мораторий об уплате обязательных
-    платежей. Кроме того, прекращается начисление неустоек и иных финансовых
-    санкций; имущественные взыскания (кроме алиментов) также будут
-    приостановлены. По завершению процедуры заявителя освободят от дальнейшего
-    выполнения требований кредиторов, указанных в заявлении о признании его
-    банкротом, а эта задолженность признается безнадежной. В прошлом месяце
-    стало известно, что за первое полугодие 2020 года российские суды признали
-    банкротами 42,7 тыс. граждан (в том числе индивидуальных предпринимателей) —
-    по данным единого реестра «Федресурс», это на 47,2% больше показателя
-    аналогичного периода 2019 года. Рост числа обанкротившихся граждан во втором
-    квартале по сравнению с первым замедлился — такая динамика обусловлена тем,
-    что в период ограничений с 19 марта по 11 мая суды редко рассматривали
-    банкротные дела компаний и меньше, чем обычно, в отношении граждан, объяснял
-    руководитель проекта «Федресурс» Алексей Юхнин. Он прогнозирует, что во
-    втором полугодии мы увидим рост показателя, когда суды рассмотрят все дела,
-    что не смогли ранее в режиме ограничений. По его данным, уже в июне число
-    личных банкротств выросло до 11,5 тыс., что в два раза превышает показатель
-    аналогичного периода 2019 года.
-  example_title: Новости
-- text: >-
-    Актуальность проблемы. Электронная информация играет все большую  роль во
-    всех сферах жизни современного общества. В последние годы объем
-    научно-технической текстовой информации в электронном виде возрос настолько,
-    что возникает угроза обесценивания этой информации в связи с трудностями
-    поиска необходимых сведений среди множества доступных текстов. Развитие
-    информационных ресурсов Интернет многократно усугубило проблему
-    информационной перегрузки. В этой ситуации особенно актуальными становятся
-    методы автоматизации реферирования текстовой информации, то есть методы
-    получения сжатого представления текстовых документов–рефератов (аннотаций).
-    Постановка  проблемы  автоматического реферирования текста и соответственно
-    попытки ее решения с использованием различных подходов предпринимались
-    многими исследователями. История применения вычислительной техники для
-    реферирования  насчитывает уже более 50 лет и связана с именами таких
-    исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько,
-    Д.Г. Лахути, Р.Г. Пиотровский и др. За эти годы  выработаны  многочисленные
-    подходы к решению данной проблемы, которые достаточно четко подразделяются
-    на два направления: автоматическое реферирование, основанное на
-    экстрагировании из первичных документов с помощью определенных формальных
-    признаков «наиболее информативных» фраз (фрагментов), совокупность которых
-    образует некоторый экстракт; автоматическое реферирование, основанное на
-    выделении из текстов с помощью специальных информационных языков наиболее
-    существенной информации и порождении новых текстов (рефератов),
-    содержат��льно обобщающих первичные  документы.
-  example_title: Научная статья
+- generated_from_trainer
+model-index:
+- name: any-news-sum
+  results: []
 ---
 
-# data-silence/any-news-sum
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
 
-This repository contains the mT5 checkpoint finetuned on the 45 languages of my [sumnews](https://huggingface.co/datasets/data-silence/sumnews) dataset which based on popular [XL-Sum](https://huggingface.co/datasets/csebuetnlp/xlsum). 
-The model solves the news summarization task: it's designed to simultaneously generate a headline and a summary of a news article based on its full content. 
-The primary focus of the training was on Russian language operation, but to some extent the model will work on text in any language supported by the mT5 mother model and XL-Sum dataset. 
+# any-news-sum
 
-## Testing this model on `Spaces`
+This model is a fine-tuned version of [data-silence/any-news-sum3](https://huggingface.co/data-silence/any-news-sum3) on an unknown dataset.
+It achieves the following results on the evaluation set:
+- eval_loss: 0.2748
+- eval_title_rouge1: 0.1373
+- eval_title_rouge2: 0.0489
+- eval_title_rougeL: 0.1220
+- eval_resume_rouge1: 0.0016
+- eval_resume_rouge2: 0.0005
+- eval_resume_rougeL: 0.0015
+- eval_runtime: 3433.4702
+- eval_samples_per_second: 9.37
+- eval_steps_per_second: 1.562
+- step: 0
 
-You can try the model and evaluate its quality [here](https://huggingface.co/spaces/data-silence/sumnews)
+## Model description
 
-## Using this model in `transformers`
+More information needed
 
-```python
-import torch
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq
+## Intended uses & limitations
 
-# Загрузка модели и токенизатора
-model_name = "data-silence/any-news-sum"
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+More information needed
 
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+## Training and evaluation data
 
+More information needed
 
-def generate_summary_with_special_tokens(text, max_length=512):
-    inputs = tokenizer(text, return_tensors="pt", max_length=max_length, truncation=True).to(device)
-    
-    outputs = model.generate(
-        **inputs,
-        max_length=max_length,
-        num_return_sequences=1,
-        no_repeat_ngram_size=4,
-    )
-    
-    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
-    
-    # Разделение на заголовок и резюме
-    parts = generated_text.split('<title_resume_sep>')
-    title = parts[0].replace("<pad> ", "").strip()
-    resume = parts[1].replace("</s>", "").strip() if len(parts) > 1 else ""
-    
-    return title, resume
-
-title, resume = generate_summary_with_special_tokens('Пациенты с сердечными заболеваниями зачастую имеют низкий уровень мелатонина и нарушение цикла сна-бодрствования. До сих пор механизмы, лежащие в основе этого явления, оставались неясными. В статье, опубликованной в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе. А в качестве связующего звена между двумя органами оказывается ганглий в области шеи.')
-print(title)  # Ученые показал, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе
-print(resume)  # Ученые опубликовали статью, опубликованную в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким образом кардиальные заболевания влияет на выработку гормона сна в шишковидной железе.
-```
+## Training procedure
 
 ### Training hyperparameters
 
@@ -197,14 +52,7 @@ The following hyperparameters were used during training:
 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
 - lr_scheduler_type: linear
 - lr_scheduler_warmup_steps: 500
-- num_epochs: 4
-
-### Training results at last epoch:
-
-| Training Loss | Epoch | Step  | Validation Loss |
-|:-------------:|:-----:|:-----:|:---------------:|
-| 0.4487        | 4.0   | 20496 | 0.2799          |
-
+- num_epochs: 3
 
 ### Framework versions
 

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "google/mt5-base",
+  "_name_or_path": "data-silence/any-news-sum3",
   "architectures": [
     "MT5ForConditionalGeneration"
   ],

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "decoder_start_token_id": 0,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "4.42.4"
+}

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1b5d4dc5ca2b3ed2114e5c48ada28990143d7efb879df79b4a2ae8e151b19b0b
+oid sha256:d77a52406a48b2f3b8eade0424a018bdabb80040c8ac3a55cc8fa3755ef0fca3
 size 2329571184

runs/Aug24_11-51-08_8d80415bf897/events.out.tfevents.1724501784.8d80415bf897.239.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:594797591ac2eabfb6251907005f845cde046127b9520275a53a8be2ab0d207d
+size 618

runs/Aug24_12-31-21_75db80f746dc/events.out.tfevents.1724502695.75db80f746dc.1641.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:03c433e622622470cd1ec34895dc59735db37afef9e5d23b50909821d17d5880
+size 618

runs/Aug24_12-32-24_75db80f746dc/events.out.tfevents.1724506190.75db80f746dc.1641.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bfedf06b5a16e17d2073aa5cde49adccd704e80faca567afa354e7d3ec61bc63
+size 618

special_tokens_map.json

@@ -1,12 +1,6 @@
 {
   "additional_special_tokens": [
-    {
-      "content": "<title_resume_sep>",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false
-    }
+    "<title_resume_sep>"
   ],
   "eos_token": {
     "content": "</s>",

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6e8d10abfb667fdaf6e451d25c28765ba973f97c0163c267fcffef64c7e094b0
+oid sha256:16c57c2ad5a2b36c82c200418bb0923d4aebddd210c687c5e6bf60a932f84553
 size 5304