MorphoBr: an open source large-coverage full-form lexicon for morphological analysis of Portuguese

Leonel Figueiredo de Alencar, Bruno Cuconato, Alexandre Rademaker

Resumo


ABSTRACT: One of the prerequisites for many natural language processing technologies is the availability of large lexical resources. This paper reports on MorphoBr, an ongoing project aiming at building a comprehensive full-form lexicon for morphological analysis of Portuguese. A first version of the resource is already freely available online under an open source, free software license. MorphoBr combines analogous free resources, correcting several thousand errors and gaps, and systematically adding new entries. In comparison to the integrated resources, lexical entries in MorphoBr follow a more user-friendly format, which can be straightforwardly compiled into finite-state transducers for morphological analysis, e.g. in the context of syntactic parsing with a grammar in the LFG formalism using the XLE system. MorphoBr results from a combination of computational techniques. Errors and the more obvious gaps in the integrated resources were automatically corrected with scripts. However, MorphoBr's main contribution is the expansion in the inventory of nouns and adjectives. This was carried out by systematically modeling diminutive formation in the paradigm of finite-state morphology. This allowed MorphoBr to significantly outperform analogous resources in the coverage of diminutives. The first evaluation results show MorphoBr to be a promising initiative which will directly contribute to the development of more robust natural language processing tools and applications which depend on wide-coverage morphological analysis.

KEYWORDS: computational linguistics; natural language processing; morphological analysis; full-form lexicon; diminutive formation.

 

RESUMO: Um dos pré-requisitos para muitas tecnologias de processamento de linguagem natural é a disponibilidade de vastos recursos lexicais. Este artigo trata do MorphoBr, um projeto em desenvolvimento voltado para a construção de um léxico de formas plenas abrangente para a análise morfológica do português. Uma primeira versão do recurso já está disponível gratuitamente on-line sob uma licença de software livre e de código aberto. MorphoBr combina recursos livres análogos, corrigindo vários milhares de erros e lacunas. Em comparação com os recursos integrados, as entradas lexicais do MorphoBr seguem um formato mais amigável, o qual pode ser compilado diretamente em transdutores de estados finitos para análise morfológica, por exemplo, no contexto do parsing sintático com uma gramática no formalismo da LFG usando o sistema XLE. MorphoBr resulta de uma combinação de técnicas computacionais. Erros e lacunas mais óbvias nos recursos integrados foram automaticamente corrigidos com scripts. No entanto, a principal contribuição de MorphoBr é a expansão no inventário de substantivos e adjetivos. Isso foi alcançado pela modelação sistemática da formação de diminutivos no paradigma da morfologia de estados finitos. Isso possibilitou a MorphoBr superar de forma significativa recursos análogos na cobertura de diminutivos. Os primeiros resultados de avaliação mostram que o MorphoBr constitui uma iniciativa promissora que contribuirá de forma direta para conferir robustez a ferramentas e aplicações de processamento de linguagem natural que dependem de análise morfológica de ampla cobertura.

PALAVRAS-CHAVE: linguística computacional; processamento de linguagem natural; análise morfológica; léxico de formas plenas; formação de diminutivos.


Palavras-chave


computational linguistics; natural language processing; morphological analysis; full-form lexicon; diminutive formation

Texto completo:

PDF (English)

Referências


ALENCAR, L. F. de et al. JMorpher: A Finite-State Morphological Parser in Java for Android. In: BAPTISTA, J. et al. (Eds.). Computational Processing of the Portuguese Language. 11th International Conference, PROPOR 2014. São Carlos/SP, Brazil, October 6-8, 2014. Proceedings... Heidelberg: Springer, 2014, p. 59-69.

BAZENGA, A. M. Sufixos avaliativos -inh-/-zinh- em português: da morfologia à pragmática da ironia verbal. Pensardiverso, Funchal, v. 3, p. 115-130, 2012. Disponível em: https://digituma.uma.pt/handle/10400.13/1729. Acesso em: 2 abr. 2018.

BEESLEY, K. R.; KARTTUNEN, L. Finite state morphology. Stanford, California: CSLI, 2003.

BICK, E. PALAVRAS: a constraint grammar-based parsing system for portuguese. In: SARDINHA, T. B.; FERREIRA, T. L. S. B. (Org.). Working with Portuguese Corpora. [S.l.]: Bloomsbury Academic, 2014. p. 279-302.

BUTT, M. et al. A Grammar Writer's Cookbook. Stanford, California: CSLI, 1999.

CIPRO NETO, P. Está errado dizer “cheinho" e “sainha"? In: CIPRO NETO, P. Dicas do Pasquale. [S.n.t.]. Disponível em: http://www.educacional.com.br/espacopasquale/dicas.asp?intPagAtual=10&. Acesso em: 11 mai. 2018.

COSTA, J. A.; MELO, S. Dicionário da Língua Portuguesa. 6. ed. Porto: Porto Editora, 1991.

CUNHA, C.; CINTRA, L. F. L. Nova gramática do português contemporâneo. Rio de Janeiro: Nova Fronteira, 1985.

DIPPER, S. Implementing and documenting large-scale grammars – German LFG. 2003. 359 f. Tese (Doutorado) - Philosophisch-Historische Fakultät, Universidtät Stuttgart, 2003.

ELEUTÉRIO, S. et al. A system of electronic dictionaries of portuguese. Lingvisticae Investigationes, v. 19, n. 1, p. 57-82, 1995. Disponível em: http://label.ist.utl.pt/publications/docs/Eleuterio_et_al_95.pdf. Acesso em: 18 set. 2018.

FALK, Y. Lexical-Functional Grammar: an introduction to parallel constraint-based syntax. Stanford, California: CSLI, 2001.

FRADIN, B. Abbréviation des gloses morphologiques. Paris: Laboratoire de Linguistique Formelle, Université Paris-Diderot, [s.d.]. Disponível em: http://www.llf.cnrs.fr/fr/node/60. Acesso em: 16 set. 2018.

GARCIA, M.; GAMALLO, P. Análise morfossintáctica para português europeu e galego: Problemas, soluções e avaliação. Linguamática, Braga, v. 2, n. 2, p. 59-67, 2010. Disponível em: http://linguamatica.com/index.php/linguamatica/article/view/56. Acesso em: 15 out. 2018.

GARCIA, M. et al. PoS-tagging the Web in Portuguese: national varieties, text typologies and spelling systems. Procesamiento del Lenguaje Natural, v. 53, p. 95-101, 2014. Disponível em: http://www.taln.upf.edu/pages/sepln2014/full_papers/edited_paper_21.pdf. Acesso em: 18 set. 2018.

HULDEN, M. Foma: a finite-state compiler and library. In: CONFERENCE OF THE EUROPEAN CHAPTER OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 12, 2009, Athens. Proceedings... [S.l.]: Association for Computational Linguistics, 2009. p. 29-32. Disponível em: http://www.aclweb.org/anthology/E09-2008. Acesso em: 18 jun. 2018.

JURAFSKY, D.; MARTIN, J. H. Speech and language processing: an introduction to natural language processing, computational linguistics, and speech recognition. 2. ed. London: Pearson, 2009.

LAPA, M. R. Estilística da língua portuguesa. São Paulo: Martins Fontes, 1982.

LEACH, G.; WILSON, A. Recommendations for the morphosyntactic annotation of corpora. [S.n.t.], 1996. Disponível em: http://www.ilc.cnr.it/EAGLES/pub/eagles/corpora/annotate.ps.gz. Acesso em: 15 set. 2018.

LIMA, R. Gramática normativa da língua portuguesa. 49. ed. Rio de Janeiro: José Olym­pio, 2011.

MONTEIRO, J. L. Morfologia portuguesa. 2. ed. Fortaleza: EDUFC, 1987.

MCDONALD, R. et al. Universal dependency annotation for multilingual parsing. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 51, 2013, Sofia. Proceedings... [S.n.t.], 2013. p. 92-97. Disponível em: https://www.aclweb.org/anthology/P13-2017. Acesso em: 18 set. 2018.

MUNIZ, M. C. M. A construção de recursos lingüístico-computacionais para o português do Brasil: o projeto Unitex-PB. 2004. 92 f. Dissertação (Mestrado em Ciências de Com­putação e Matemática Computacional) - Instituto de Ciências Matemáticas e de Com­putação, Universidade de São Paulo, São Carlos, 2004.

NIVRE, J. et al. Universal Dependencies 2.1. Prague: Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University, 2017 Disponível em: http://hdl.handle.net/11234/1-2515. Acesso em: 18 set. 2018.

NOGUEIRA, S. As luzinhas ou as luzezinhas de Natal? In: NOGUEIRA, S. Dicas de português: Temas polêmicos. [S.l.]: Globo, 2010. Disponível em: http://g1.globo.com/educacao/blog/dicas-de-portugues/post/temas-polemicos-3.html. Acesso em: 15 mai. 2018.

PADRÓ, L.; STANILOVSKY, E. Freeling 3.0: Towards wider multilinguality. In: LANGUAGE RESOURCES AND EVALUATION CONFERENCE, 8, 2012, Istambul. Proceedings... [S.n.t.], 2012. p. 2473-2479. Disponível em: http://www.lrec-conf.org/proceedings/lrec2012/pdf/430_Paper.pdf. Acesso em: 15 set. 2018.

POLLARD, C.; SAG, I. A. Head-driven phrase structure grammar. Stanford: CSLI, 1994.

RANCHHOD, E.; MOTA, C.; BAPTISTA, J. A computational lexicon of Portuguese for automatic text parsing. In: STANDARDIZING LEXICAL RESOURCES, 1999, College Park, Maryland. Proceedings… [S.n.t], 1999. p. 74-80. Disponível em: http://www.aclweb.org/anthology/W99-0511. Acesso em: 15 set. 2018.

RANTA, A. Grammatical Framework: programming with multilingual grammars. Stanford, California: CSLI, 2011.

RIO-TORTO, G. Formação de avaliativos. In: RIO-TORTO, G. et al. (Org.). Gramática derivacional do português. Coimbra: Coimbra University Press, 2016. p. 357-389.

ROCHA, L. C. de A. Estruturas morfológicas do português. 2. ed. São Paulo: Martins Fontes, 2008.

VILLALVA, A.; SILVESTRE, J. P. Introdução ao estudo do léxico: descrição e análise do português. Petrópolis: Vozes, 2014.

ŠEVČÍKOVÁ, M. Modelling morphographemic alternations in derivation of Czech. The Prague Bulletin of Mathematical Linguistics, Prague, v. 110, p. 7-42, 2018. Disponível em: https://ufal.mff.cuni.cz/pbml/110/art-sevcikova.pdf. Acesso em: 4 mai. 2018.




DOI: http://dx.doi.org/10.17851/1983-3652.11.3.1-25

Apontamentos

  • Não há apontamentos.




Texto Livre: Linguagem e Tecnologia
ISSN 1983-3652 (eletrônica)

Faculdade de Letras da Universidade Federal de Minas Gerais

Belo Horizonte - Minas Gerais (Brasil)

Licença Creative Commons

Esta obra está licenciada com uma Licença Creative Commons Atribuição 4.0 Internacional.