[Overview]
An error may occur when executing ViewCreator Copilot-related jobnets or jobs.
Example: Jobnet "Table metadata synchronization + Vector database registration"

The errors currently observed are the following patterns:

･ Pattern 1: OpenAI Embedding model token limit error

Error message: "This model's maximum context length is 8192 tokens, however you requested xxxx tokens"
Error cause: The error is caused by exceeding the token limit (8192 tokens) of OpenAI's Embedding model.

･ Pattern 2: AWS Bedrock input size limit error

Error message: "Malformed input request: expected maxLength: 50000, actual: xxxxx"
Error cause: The error is caused by exceeding the input size limit (50,000 characters) of AWS Bedrock.

[Cause]
Both of the above patterns are caused by exceeding the setting limit on the AI services, and the settings on the AI service side cannot be changed.
Caption/comment information registered on the "Table/Caption Registration" screen is registered in the vector database as a unique table metadata.
If the amount of data to be registered is large, the above error may occur.

Please consider taking the following measure.

[Handling method]
･ 1. Identify the table where the error occurred

Please place "im_logger_copilot_debug.xml" attached to this FAQ under "/conf/log" of IM-Juggling project and redeploy it.
After that, it is possible to investigate the table that is experiencing errors from the debug log output by executing the job/jobnet again.
* If the caption/comment information registered on the "Table/Caption Registration" screen contains a large amount of information and you can guess which table is likely to be the cause of the error, you do not need to perform this step.

･ 2. Table exclusion settings

For the table where the error occurs, please perform the exclusion settings using one of the following methods.

* How to exclude it from the table list

Please create the following file and write the table name to exclude.
*Excluded tables will no longer be displayed in the table list.

File name (no extension): ignore_tables
Folder path: META-INF/jp/co/intra_mart/common/platform/database/util
Example: %RESIN_HOME%\webapps\%context path%\WEB-INF\classes\META-INF\jp\co\intra_mart\common\platform\database\util\ignore_tables
File Format:
----------
# Table names to exclude (1 table per row)
TABLE_NAME_1
TABLE_NAME_2
----------

* How to exclude from the process of generative AI

Please create the following file and write the table name to exclude.
*The operation of this may change with future updates.
　In that case, we will update this FAQ as well.

File name (no extension): ignore_tables_generate_sql
Folder path: META-INF/jp/co/intra_mart/system/tablemetadata
Example: %RESIN_HOME%\webapps\%context path%\WEB-INF\classes\META-INF\jp\co\intra_mart\system\tablemetadata\ignore_tables_generate_sql
File format:
----------
# Table names to exclude (1 table per row)
TABLE_NAME_1
TABLE_NAME_2
----------

･ 3. Reduce the caption/comment information

If you want to resolve this error without excluding the table, reduce the information volume in the caption and comments on the "Table Caption Registration" screen for the table where the error is occurring.

[Our schedule to act]

We are considering the following improvements for future updates:
･ Improve the product to continue process when an error occurs and identify the table where the error occurred.

[For Your Reference]

･ Adding your own table metadata information
　https://document.intra-mart.jp/library/iap/public/viewcreator/viewcreator_administrator_guide/texts/appendix/sql_builder_assistant/appendix_4.html
#4724 Provides a mechanism for configuring tables whose existence should be hidden
　https://issue.intra-mart.jp/issues/4724

--Target-------------------------------------------------------------------------
iAP/Accel Platform/2024 Autumn
--------------------------------------------------------------------------------

FAQID:1428