cmdbox.app.features.cli.rag package
Submodules
cmdbox.app.features.cli.rag.rag_base module
- class cmdbox.app.features.cli.rag.rag_base.RAGBase(appcls, ver, language: str = None)[source]
Bases:
ResultEdgeFeature- check_cmd_permission(signin_data: Dict, user_name: str, extract_opt: dict, extract_args: Namespace, args: Namespace, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], None][source]
Extractコマンドの実行権限チェックを行います
- Parameters:
signin_data (Dict) -- サインイン情報
user_name (str) -- ユーザー名
extract_opt (dict) -- Extractコマンドのオプション
extract_args (argparse.Namespace) -- Extractコマンドの引数
args (argparse.Namespace) -- 引数
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, チェック
- Return type:
Tuple[int, Dict[str, Any], None]
- check_signin(args: Namespace, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], None][source]
サインイン情報の確認を行います
- Parameters:
args (argparse.Namespace) -- 引数
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, サインイン情報, None
- Return type:
Tuple[int, Dict[str, Any], None]
- async embedding(rag_config: Dict, original_data: List[Any], args: Namespace, cl: Client, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], Client][source]
LLM embedを利用したEmbedding処理を行います
- Parameters:
rag_config (Dict) -- RAG設定
original_data (List[Any]) -- 埋め込み対象の元データ
args (argparse.Namespace) -- 引数
cl (client.Client) -- クライアント
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, 結果, クライアント
- Return type:
Tuple[int, Dict[str, Any], client.Client]
- exec_extract_cmd(extract_feat: Feature, extract_args: Namespace, options: Options, args: Namespace, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], None][source]
Extractコマンドの実行を行います
- Parameters:
extract_feat (feature.Feature) -- Extractコマンドの機能
extract_args (argparse.Namespace) -- Extractコマンドの引数
options (Options) -- オプション
args (argparse.Namespace) -- 引数
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, 実行結果
- Return type:
Tuple[int, Dict[str, Any], None]
- list_file(file_list_opt: Dict, options: Options, args: Namespace, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], None][source]
Extract対象ファイル一覧の取得を行います
- Parameters:
file_list_opt (Dict) -- ClientFileListコマンドのオプション
options (Options) -- オプション
args (argparse.Namespace) -- 引数
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, Extract対象ファイル一覧, None
- Return type:
Tuple[int, Dict[str, Any], None]
- async load_datasource_config(args: Namespace, cl: Client, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], Client][source]
データソース接続設定の読込みを行います
- Parameters:
args (argparse.Namespace) -- 引数
cl (client.Client) -- クライアント
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, データソース接続設定, クライアント
- Return type:
Tuple[int, Dict[str, Any], client.Client]
- load_extract_cmd(extract_conf: Dict, options: Options, args: Namespace, cl: Client, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], Client][source]
Extractコマンドの読込みを行います
- Parameters:
extract_conf (Dict) -- Extract設定
options (Options) -- オプション
args (argparse.Namespace) -- 引数
cl (client.Client) -- クライアント
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, Extractコマンド情報, クライアント
- Return type:
Tuple[int, Dict[str, Any], client.Client]
- async load_extract_config(extract_name: str, args: Namespace, cl: Client, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], Client][source]
Extract設定の読込みを行います
- Parameters:
extract_name (str) -- Extract設定の名前
args (argparse.Namespace) -- 引数
cl (client.Client) -- クライアント
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, Extract設定, クライアント
- Return type:
Tuple[int, Dict[str, Any], client.Client]
- async load_rag_config(args: Namespace, cl: Client, tm: float, pf, logger: Logger) Tuple[int, Dict[str, Any], Client][source]
RAG設定の読込みを行います
- Parameters:
args (argparse.Namespace) -- 引数
cl (client.Client) -- クライアント
tm (float) -- 実行開始時間
pf -- パフォーマンス情報
logger (logging.Logger) -- ロガー
- Returns:
終了コード, RAG設定, クライアント
- Return type:
Tuple[int, Dict[str, Any], client.Client]
cmdbox.app.features.cli.rag.rag_postgresql module
- class cmdbox.app.features.cli.rag.rag_postgresql.RagPostgresql(dbhost: str, dbport: int, dbname: str, dbuser: str, dbpass: str, dbtimeout: int, logger: Logger)[source]
Bases:
RagStore- create_tables(servicename: str, embed_vector_dim: int = 256) None[source]
テーブルを作成します
- Parameters:
servicename (str) -- サービス名
embed_vector_dim (int) -- 埋め込みベクトルの次元数
- delete_doc(*, connection: Connection = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None) None[source]
ドキュメントを削除します
- Parameters:
connection -- データベース接続オブジェクト
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
- insert_doc(*, connection: Connection = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, content_blob: bytes = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: Any = None) None[source]
ドキュメントを挿入します
- Parameters:
connection -- データベース接続オブジェクト
servicename (str) -- サービス名
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
content_blob (bytes) -- ドキュメントのバイナリデータ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
vec_data (Any) -- ベクトルデータ
- select_doc(*, connection: Any = None, select: List[str] = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: str = None, sort_dict: Dict[str, Any] = None, kcount: int = None) Generator[Any, Any, Any][source]
ドキュメントを選択します
- Parameters:
connection -- データベース接続オブジェクト
select (str) -- 取得する項目をカンマ区切りで指定します。未指定の場合はすべての項目を返します。
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
vec_data (str) -- ドキュメントのベクトル表現
sort_dict (dict) -- ソート条件を指定します。キーに項目名、値にソート順( ASC (昇順) 又は DESC (降順))を指定します。
kcount (int) -- 検索結果件数
- Yields:
record -- ドキュメントレコード
cmdbox.app.features.cli.rag.rag_sqlite module
- class cmdbox.app.features.cli.rag.rag_sqlite.RagSqlite(dbpath: str, dbtimeout: int, logger: Logger)[source]
Bases:
RagStore- create_tables(servicename: str, embed_vector_dim: int = 256) None[source]
テーブルを作成します
- Parameters:
servicename (str) -- サービス名
embed_vector_dim (int) -- 埋め込みベクトルの次元数(SQLiteでは参照のみ)
- delete_doc(*, connection: Any = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None) None[source]
ドキュメントを削除します
- Parameters:
connection -- データベース接続オブジェクト
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
- insert_doc(*, connection: Any = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, content_blob: bytes = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: Any = None) None[source]
ドキュメントを挿入します
- Parameters:
connection -- データベース接続オブジェクト
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
content_blob (bytes) -- ドキュメントのバイナリデータ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
vec_data (Any) -- ベクトルデータ
- select_doc(*, connection: Any = None, select: List[str] = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: str = None, sort_dict: Dict[str, Any] = None, kcount: int = None) Generator[Any, Any, Any][source]
ドキュメントを選択します
- Parameters:
connection -- データベース接続オブジェクト
select (str) -- 取得する項目をカンマ区切りで指定します。未指定の場合はすべての項目を返します。
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
vec_data (str) -- ドキュメントのベクトル表現
sort_dict (dict) -- ソート条件を指定します。キーに項目名、値にソート順( ASC (昇順) 又は DESC (降順))を指定します。
kcount (int) -- 検索結果件数
- Yields:
record -- ドキュメントレコード
cmdbox.app.features.cli.rag.rag_store module
- class cmdbox.app.features.cli.rag.rag_store.RagStore[source]
Bases:
object- classmethod create(ds_conf: dict, logger: Logger, appcls, ver, language: str = None) RagStore[source]
RagStoreのインスタンスを作成します
- Parameters:
ds_conf (dict) -- データソース設定
logger (logging.Logger) -- ロガー
- Returns:
RagStoreのインスタンス
- Return type:
- create_tables(servicename: str, embed_vector_dim: int = 256) None[source]
テーブルを作成します
- Parameters:
servicename (str) -- サービス名
embed_vector_dim (int) -- 埋め込みベクトルの次元数
- delete_doc(*, connection: Any = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None) None[source]
ドキュメントを削除します
- Parameters:
connection -- データベース接続オブジェクト
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
- insert_doc(*, connection: Any = None, servicename: str = None, content_text: str = None, content_type: str = None, content_blob: bytes = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: Any = None) None[source]
ドキュメントを挿入します
- Parameters:
connection -- データベース接続オブジェクト
servicename (str) -- サービス名
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
content_blob (bytes) -- ドキュメントのバイナリデータ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
vec_data (Any) -- ベクトルデータ
- select_doc(*, connection: Any = None, select: List[str] = None, servicename: str = None, vec_id: str = None, content_text: str = None, content_type: str = None, origin_name: str = None, origin_type: str = None, origin_url: str = None, metadata: Dict[str, Any] = None, vec_model: str = None, vec_data: str = None, sort_dict: Dict[str, Any] = None, kcount: int = None) Generator[Any, Any, Any][source]
ドキュメントを選択します
- Parameters:
connection -- データベース接続オブジェクト
select (str) -- 取得する項目をカンマ区切りで指定します。未指定の場合はすべての項目を返します。
servicename (str) -- サービス名
vec_id (str) -- ベクトルID
content_text (str) -- ドキュメントの内容
content_type (str) -- ドキュメントのタイプ
origin_name (str) -- ドキュメントの元の名前
origin_type (str) -- ドキュメントの元のタイプ
origin_url (str) -- ドキュメントの元のURL
metadata (dict) -- ドキュメントのメタデータ
vec_model (str) -- ベクトルモデルの名前
vec_data (str) -- ドキュメントのベクトル表現
sort_dict (dict) -- ソート条件を指定します。キーに項目名、値にソート順( ASC (昇順) 又は DESC (降順))を指定します。
kcount (int) -- 検索結果件数
- Yields:
record -- ドキュメントレコード