Upgraded morphological analysis engine “MeCab” and “cmecab-java” of IM-ContentsSearch Ver7.1.

 
[Update contents]
Upgraded the morphological analysis engine “MeCab” and its JNI binding “cmecab-java”, which is combined in the file for the Solr server to be used in IM-ContentsSearch Ver7.1.

The file for upgrade is [im_contents_search.zip] attached below.
http://www.intra-mart.jp/download/try/im_contents_search.zip

For the detail of update procedures, please refer to the link below of “MeCab・cmecab-java Upgrade Guide”.
https://www.intra-mart.jp/download/product/v71_doc/im_ContentsSearch/im_contentssearch_mecab_verup_guide_v71.pdf (Japanese)

■Operation environment:  Environments where IM-ContentsSearch Ver7.1 is used and morphological analysis is adopted for text analysis method.

■Update contents: Version upgrade
MeCab: MeCab 0.97 -> MeCab 0.98
  cmecab-java: cmecab-java1.3 -> cmecab-java1.6

■Problems to be improved in upgrade

[Problem dealt with in Windows/UNIX in common]
The problem where Solr server stop occurs by OutOfMemoryError when a crawler is operated for many data using cmecab-java was improved.
*The problem above was caused by memory leak of the native area (outside JVM) occurring at continuous use on cmecab-java1.3as well as the lack of memory in the native area being handled as OutOfMemoryError in the JVM.

[Problem dealt only with UNIX]
・Fixed the problem where the maximum text size which can be analyzed is limited to the same size as the one in 32bit environment when MeCab is used in 64bit environment.
・Fixed the problem where Solr server is stopped when morphological analysis process by MeCab is failed.
*Added the NDEBUG option to Makefile on compiling JNI implementation of cmecab-java.

-- Target --------------------------------------------------------------------
iWP/Web System Construction Platform/IM-ContentsSearch
--------------------------------------------------------------------------------


FAQID:108
Was this article helpful?
0 out of 0 found this helpful
Powered by Zendesk