cmdbox.app.features.cli.rag package

Submodules

cmdbox.app.features.cli.rag.rag_base module

class cmdbox.app.features.cli.rag.rag_base.RAGBase(appcls, ver, language: str = None)[source]

Bases: ResultEdgeFeature

check_cmd_permission(signin_data: Dict, user_name: str, extract_opt: dict, extract_args: Namespace, args: Namespace, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], None][source]

Extractコマンドの実行権限チェックを行います

Parameters:
  • signin_data (Dict) -- サインイン情報

  • user_name (str) -- ユーザー名

  • extract_opt (dict) -- Extractコマンドのオプション

  • extract_args (argparse.Namespace) -- Extractコマンドの引数

  • args (argparse.Namespace) -- 引数

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, チェック

Return type:

Tuple[int, Dict[str, Any], None]

check_signin(args: Namespace, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], None][source]

サインイン情報の確認を行います

Parameters:
  • args (argparse.Namespace) -- 引数

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, サインイン情報, None

Return type:

Tuple[int, Dict[str, Any], None]

async embedding(rag_config: Dict, original_data: List[Any], args: Namespace, cl: Client, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], Client][source]

LLM embedを利用したEmbedding処理を行います

Parameters:
  • rag_config (Dict) -- RAG設定

  • original_data (List[Any]) -- 埋め込み対象の元データ

  • args (argparse.Namespace) -- 引数

  • cl (client.Client) -- クライアント

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, 結果, クライアント

Return type:

Tuple[int, Dict[str, Any], client.Client]

exec_extract_cmd(extract_feat: Feature, extract_args: Namespace, options: Options, args: Namespace, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], None][source]

Extractコマンドの実行を行います

Parameters:
  • extract_feat (feature.Feature) -- Extractコマンドの機能

  • extract_args (argparse.Namespace) -- Extractコマンドの引数

  • options (Options) -- オプション

  • args (argparse.Namespace) -- 引数

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, 実行結果

Return type:

Tuple[int, Dict[str, Any], None]

list_file(file_list_opt: Dict, options: Options, args: Namespace, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], None][source]

Extract対象ファイル一覧の取得を行います

Parameters:
  • file_list_opt (Dict) -- ClientFileListコマンドのオプション

  • options (Options) -- オプション

  • args (argparse.Namespace) -- 引数

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, Extract対象ファイル一覧, None

Return type:

Tuple[int, Dict[str, Any], None]

async load_datasource_config(args: Namespace, cl: Client, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], Client][source]

データソース接続設定の読込みを行います

Parameters:
  • args (argparse.Namespace) -- 引数

  • cl (client.Client) -- クライアント

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, データソース接続設定, クライアント

Return type:

Tuple[int, Dict[str, Any], client.Client]

load_extract_cmd(extract_conf: Dict, options: Options, args: Namespace, cl: Client, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], Client][source]

Extractコマンドの読込みを行います

Parameters:
  • extract_conf (Dict) -- Extract設定

  • options (Options) -- オプション

  • args (argparse.Namespace) -- 引数

  • cl (client.Client) -- クライアント

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, Extractコマンド情報, クライアント

Return type:

Tuple[int, Dict[str, Any], client.Client]

async load_extract_config(extract_name: str, args: Namespace, cl: Client, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], Client][source]

Extract設定の読込みを行います

Parameters:
  • extract_name (str) -- Extract設定の名前

  • args (argparse.Namespace) -- 引数

  • cl (client.Client) -- クライアント

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, Extract設定, クライアント

Return type:

Tuple[int, Dict[str, Any], client.Client]

async load_rag_config(args: Namespace, cl: Client, tm: float, pf, logger: Logger) → Tuple[int, Dict[str, Any], Client][source]

RAG設定の読込みを行います

Parameters:
  • args (argparse.Namespace) -- 引数

  • cl (client.Client) -- クライアント

  • tm (float) -- 実行開始時間

  • pf -- パフォーマンス情報

  • logger (logging.Logger) -- ロガー

Returns:

終了コード, RAG設定, クライアント

Return type:

Tuple[int, Dict[str, Any], client.Client]

cmdbox.app.features.cli.rag.rag_postgresql module

class cmdbox.app.features.cli.rag.rag_postgresql.RagPostgresql(dbhost: str, dbport: int, dbname: str, dbuser: str, dbpass: str, dbtimeout: int, logger: Logger)[source]

Bases: RagStore

create_tables(servicename: str, embed_vector_dim: int = 256) → None[source]

テーブルを作成します

Parameters:
  • servicename (str) -- サービス名

  • embed_vector_dim (int) -- 埋め込みベクトルの次元数

delete_doc(*, connection: Connection = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None) → None[source]

ドキュメントを削除します

Parameters:
  • connection -- データベース接続オブジェクト

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

insert_doc(*, connection: Connection = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, content_blob: bytes = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: Any = None) → None[source]

ドキュメントを挿入します

Parameters:
  • connection -- データベース接続オブジェクト

  • servicename (str) -- サービス名

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • content_blob (bytes) -- ドキュメントのバイナリデータ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

  • vec_data (Any) -- ベクトルデータ

install() → None[source]

pgvector拡張機能とAGE拡張機能をインストールします

select_doc(*, connection: Any = None, select: List[str] = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: str = None, sort_dict: Dict[str, Any] = None, kcount: int = None) → Generator[Any, Any, Any][source]

ドキュメントを選択します

Parameters:
  • connection -- データベース接続オブジェクト

  • select (str) -- 取得する項目をカンマ区切りで指定します。未指定の場合はすべての項目を返します。

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

  • vec_data (str) -- ドキュメントのベクトル表現

  • sort_dict (dict) -- ソート条件を指定します。キーに項目名、値にソート順( ASC (昇順) 又は DESC (降順))を指定します。

  • kcount (int) -- 検索結果件数

Yields:

record -- ドキュメントレコード

cmdbox.app.features.cli.rag.rag_sqlite module

class cmdbox.app.features.cli.rag.rag_sqlite.RagSqlite(dbpath: str, dbtimeout: int, logger: Logger)[source]

Bases: RagStore

create_tables(servicename: str, embed_vector_dim: int = 256) → None[source]

テーブルを作成します

Parameters:
  • servicename (str) -- サービス名

  • embed_vector_dim (int) -- 埋め込みベクトルの次元数(SQLiteでは参照のみ)

delete_doc(*, connection: Any = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None) → None[source]

ドキュメントを削除します

Parameters:
  • connection -- データベース接続オブジェクト

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

insert_doc(*, connection: Any = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, content_blob: bytes = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: Any = None) → None[source]

ドキュメントを挿入します

Parameters:
  • connection -- データベース接続オブジェクト

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • content_blob (bytes) -- ドキュメントのバイナリデータ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

  • vec_data (Any) -- ベクトルデータ

install() → None[source]

SQLiteは特別なインストールは不要です

select_doc(*, connection: Any = None, select: List[str] = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: str = None, sort_dict: Dict[str, Any] = None, kcount: int = None) → Generator[Any, Any, Any][source]

ドキュメントを選択します

Parameters:
  • connection -- データベース接続オブジェクト

  • select (str) -- 取得する項目をカンマ区切りで指定します。未指定の場合はすべての項目を返します。

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

  • vec_data (str) -- ドキュメントのベクトル表現

  • sort_dict (dict) -- ソート条件を指定します。キーに項目名、値にソート順( ASC (昇順) 又は DESC (降順))を指定します。

  • kcount (int) -- 検索結果件数

Yields:

record -- ドキュメントレコード

cmdbox.app.features.cli.rag.rag_store module

class cmdbox.app.features.cli.rag.rag_store.RagStore[source]

Bases: object

connect() → Any[source]

データベースに接続します

classmethod create(ds_conf: dict, logger: Logger, appcls, ver, language: str = None) → RagStore[source]

RagStoreのインスタンスを作成します

Parameters:
  • ds_conf (dict) -- データソース設定

  • logger (logging.Logger) -- ロガー

Returns:

RagStoreのインスタンス

Return type:

RagStore

create_tables(servicename: str, embed_vector_dim: int = 256) → None[source]

テーブルを作成します

Parameters:
  • servicename (str) -- サービス名

  • embed_vector_dim (int) -- 埋め込みベクトルの次元数

delete_doc(*, connection: Any = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None) → None[source]

ドキュメントを削除します

Parameters:
  • connection -- データベース接続オブジェクト

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

insert_doc(*, connection: Any = None, servicename: str = None, content_text: str = None, content_type: str = None, content_blob: bytes = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: Any = None) → None[source]

ドキュメントを挿入します

Parameters:
  • connection -- データベース接続オブジェクト

  • servicename (str) -- サービス名

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • content_blob (bytes) -- ドキュメントのバイナリデータ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

  • vec_data (Any) -- ベクトルデータ

install() → None[source]

必要なモジュールのインストールを行います

select_doc(*, connection: Any = None, select: List[str] = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: str = None, sort_dict: Dict[str, Any] = None, kcount: int = None) → Generator[Any, Any, Any][source]

ドキュメントを選択します

Parameters:
  • connection -- データベース接続オブジェクト

  • select (str) -- 取得する項目をカンマ区切りで指定します。未指定の場合はすべての項目を返します。

  • servicename (str) -- サービス名

  • vec_id (str) -- ベクトルID

  • content_text (str) -- ドキュメントの内容

  • content_type (str) -- ドキュメントのタイプ

  • origin_name (str) -- ドキュメントの元の名前

  • origin_type (str) -- ドキュメントの元のタイプ

  • origin_url (str) -- ドキュメントの元のURL

  • metadata (dict) -- ドキュメントのメタデータ

  • vec_model (str) -- ベクトルモデルの名前

  • vec_data (str) -- ドキュメントのベクトル表現

  • sort_dict (dict) -- ソート条件を指定します。キーに項目名、値にソート順( ASC (昇順) 又は DESC (降順))を指定します。

  • kcount (int) -- 検索結果件数

Yields:

record -- ドキュメントレコード

Module contents