LogicKor 평가 관련 문의
#6
by
maywell
- opened
안녕하세요. LogicKor 관련 질문드립니다.
제가 진행했던 평가에서는 Bllossom 모델이 평가 불가능할 수준이라서 리더보드에 반영하지 않았었는데 SOTA라는 점이 많이 의아합니다.
사용하신 평가방법을 알 수 있을까요?
자문자답 남깁니다.
모델 가중치가 수정되었다는 것을 확인했고, 저희 쪽에서 돌린 평가로도 꽤나 높은 점수를 받는것을 확인했습니다.
모델 공유에 감사드립니다.
안녕하세요. 서울과기대 MLP랩 학부생 연구원 유한결입니다.
저희가 이번에 EMNLP에 제출한 ELO 사전학습 방법을 적용한 후 성능이 잘 나오게 되었습니다.
사전학습 방법 또한 논문이 합격(제발)한다면 아카이브에 공개할 예정입니다.
이전 Bllossom 모델의 성능이 좋지 않았던 이유는 단어사전에 오류가 있었습니다.
5월 중순쯤 저희가 오류가 있다는걸 뒤늦게 발견해 업데이트를 하려 했으나,
저희를 포함해 한국어 연구하시는 분들이 EMNLP논문에 Bllossom 성능을 이미 Report 하셨고
만약 저희가 갑자기 업데이트해서 성능이 변하면 저희도 힘들고(?) 다른 연구자분들도 힘들것 같아 일단 EMNLP마감 기간 6월 16일 까지는 업데이트 하지 않았습니다.
이점 이해 부탁드립니다!
Maywell님이 공유해주신 데이터를 유용하게 잘 사용하고 있습니다 ㅎㅎ 앞으로도 좋은 데이터 부탁드리고 지금처럼 피드백 주시면 정말 감사드리겠습니다.
maywell
changed discussion status to
closed