Signed-off-by: 絵空事スピリット <wanglichen@starrocks.com> Co-authored-by: 絵空事スピリット <wanglichen@starrocks.com>
This commit is contained in:
parent
6fcc5672fe
commit
62118d7396
|
|
@ -196,7 +196,9 @@ From v3.3.0 onwards, StarRocks supports the metadata reading and caching policie
|
|||
|
||||
### Iceberg views
|
||||
|
||||
StarRocks supports querying Iceberg views from v3.3.2 onwards. Currently, only Iceberg views created through StarRocks are supported.
|
||||
StarRocks supports querying Iceberg views from v3.3.2 onwards and creating Iceberg views since v3.5.
|
||||
|
||||
Currently, only Iceberg views created through StarRocks are supported. Starting with v3.5, adding StarRocks syntax style definitions to existing Iceberg views is supported.
|
||||
|
||||
### Query statistics interfaces
|
||||
|
||||
|
|
|
|||
|
|
@ -74,6 +74,7 @@ This document outlines the boundaries of competence for asynchronous materialize
|
|||
| [Align partitions with time granularity rollup (STRING type)](use_cases/create_partitioned_materialized_view.md#align-partitions-with-time-granularity-rollup) | Create a materialized view whose partitioning granularity is larger than that of the base table by using the `date_trunc` function on the Partitioning Key. The Partitioning Key must be the STRING type. | v3.1.4+<br />v3.2+ |
|
||||
| [Align partitions at a customized time granularity](use_cases/create_partitioned_materialized_view.md#align-partitions-at-a-customized-time-granularity) | Create a materialized view and customize the time granularity for its partitions by using the `date_trunc` function with the `time_slice` or `date_slice` function. | v3.2+ |
|
||||
| [Align partitions with multiple base tables](use_cases/create_partitioned_materialized_view.md#align-partitions-with-multiple-base-tables) | Create a materialized view whose partitions are aligned with those of multiple base tables, as long as the base tables use the same type of Partitioning Key. | v3.3+ |
|
||||
| [Align multiple partition columns](use_cases/create_partitioned_materialized_view.md#align-multiple-partition-columns) | Specify multiple partition columns for the materialized view, and one-to-one map them to the partition columns of the base tables. | v3.5+ |
|
||||
|
||||
**Different Join Methods**
|
||||
|
||||
|
|
@ -86,7 +87,7 @@ This document outlines the boundaries of competence for asynchronous materialize
|
|||
| External Data Source | Supported Scenario and Version(s) | Stable Version(s) |
|
||||
| :----------------------- | :----------------------------------------------------------- | :-------------------- |
|
||||
| Hive | <ul><li>Non-partitioned table: v2.5.4 & v3.0+</li><li>DATE and DATETIME-type partition: v2.5.4 & v3.0+</li><li>Transforming STRING-type Partition Key to DATE-type: v3.1.4 & v3.2+</li><li>Materialized views on Hive View: To be supported</li><li>Multi-level partitioning: To be supported</li></ul> | v2.5.13+<br />v3.0.6+<br />v3.1.5+<br />v3.2+ |
|
||||
| Iceberg | <ul><li>Non-partitioned table: v3.0+</li><li>DATE and DATETIME-type partition: v3.1.4 & v3.2+</li><li>Transforming STRING-type Partition Key to DATE-type: v3.1.4 & v3.2+</li><li>Materialized views on Iceberg View: To be supported</li><li>Partition Transform: v3.2.3</li><li>Partition-level refresh: v3.1.7 & v3.2.3</li><li>Multi-level partitioning: To be supported</li></ul> | v3.1.5+<br />v3.2+ |
|
||||
| Iceberg | <ul><li>Non-partitioned table: v3.0+</li><li>DATE and DATETIME-type partition: v3.1.4 & v3.2+</li><li>Transforming STRING-type Partition Key to DATE-type: v3.1.4 & v3.2+</li><li>Materialized views on Iceberg View: To be supported</li><li>Partition Transform: v3.2.3</li><li>Partition-level refresh: v3.1.7 & v3.2.3</li><li>Multi-level partitioning: v3.5+</li></ul> | v3.1.5+<br />v3.2+ |
|
||||
| Hudi | <ul><li>Non-partitioned table: v3.2+</li><li>DATE and DATETIME-type partition: v3.2+</li><li>Multi-level partitioning: To be supported</li></ul> | Not Stable |
|
||||
| Paimon | <ul><li>Non-partitioned table: v2.5.4 & v3.0+</li><li>DATE and DATETIME-type partition: To be supported</li><li>Multi-level partitioning: To be supported</li></ul> | Not Stable |
|
||||
| DeltaLake | <ul><li>Non-partitioned table: v3.2+</li><li>Partitioned table: To be supported</li><li>Multi-level partitioning: To be supported</li></ul> | Not Stable |
|
||||
|
|
|
|||
|
|
@ -198,7 +198,9 @@ v3.3.0以降、StarRocksは上記のメタデータ読み取りおよびキャ
|
|||
|
||||
### Iceberg ビュー
|
||||
|
||||
StarRocks は v3.3.2 以降、Iceberg ビューのクエリをサポートしています。現在、StarRocks を通じて作成された Iceberg ビューのみがサポートされています。
|
||||
StarRocks は、v3.3.2 以降、Iceberg ビューのクエリにサポートし、v3.5 以降、Iceberg ビューの作成にサポートしています。
|
||||
|
||||
現在、StarRocks を通じて作成された Iceberg ビューのみがサポートされています。v3.5 から、既存の Iceberg ビューに StarRocks の構文スタイル定義を追加できるようになりました。
|
||||
|
||||
### クエリ統計インターフェース
|
||||
|
||||
|
|
|
|||
|
|
@ -74,6 +74,7 @@ sidebar_label: 機能サポート
|
|||
| [時間粒度ロールアップでパーティションを揃える (STRING 型)](use_cases/create_partitioned_materialized_view.md#align-partitions-with-time-granularity-rollup) | `date_trunc` 関数をパーティションキーに使用して、ベーステーブルよりも大きなパーティショニング粒度を持つマテリアライズドビューを作成します。パーティションキーは STRING 型である必要があります。 | v3.1.4+<br />v3.2+ |
|
||||
| [カスタマイズされた時間粒度でパーティションを揃える](use_cases/create_partitioned_materialized_view.md#align-partitions-at-a-customized-time-granularity) | `date_trunc` 関数と `time_slice` または `date_slice` 関数を使用して、パーティションの時間粒度をカスタマイズしたマテリアライズドビューを作成します。 | v3.2+ |
|
||||
| [複数のベーステーブルでパーティションを揃える](use_cases/create_partitioned_materialized_view.md#align-partitions-with-multiple-base-tables) | 複数のベーステーブルのパーティションと揃えたマテリアライズドビューを作成します。ベーステーブルが同じタイプのパーティションキーを使用している限り可能です。 | v3.3+ |
|
||||
| [マルチパーティション列整列](use_cases/create_partitioned_materialized_view.md#align-multiple-partition-columns) | マテリアライズドビューに複数のパーティション列を指定し、ベーステーブルのパーティション列を 1 つずつマッピングします。 | v3.5+ |
|
||||
|
||||
**異なるジョイン方法**
|
||||
|
||||
|
|
@ -86,7 +87,7 @@ sidebar_label: 機能サポート
|
|||
| 外部データソース | サポートされるシナリオとバージョン | 安定バージョン |
|
||||
| :----------------------- | :----------------------------------------------------------- | :-------------------- |
|
||||
| Hive | <ul><li>非パーティションテーブル: v2.5.4 & v3.0+</li><li>DATE および DATETIME 型パーティション: v2.5.4 & v3.0+</li><li>STRING 型パーティションキーを DATE 型に変換: v3.1.4 & v3.2+</li><li>Hive View 上のマテリアライズドビュー: サポート予定</li><li>多層パーティショニング: サポート予定</li></ul> | v2.5.13+<br />v3.0.6+<br />v3.1.5+<br />v3.2+ |
|
||||
| Iceberg | <ul><li>非パーティションテーブル: v3.0+</li><li>DATE および DATETIME 型パーティション: v3.1.4 & v3.2+</li><li>STRING 型パーティションキーを DATE 型に変換: v3.1.4 & v3.2+</li><li>Iceberg View 上のマテリアライズドビュー: サポート予定</li><li>パーティショントランスフォーム: v3.2.3</li><li>パーティションレベルのリフレッシュ: v3.1.7 & v3.2.3</li><li>多層パーティショニング: サポート予定</li></ul> | v3.1.5+<br />v3.2+ |
|
||||
| Iceberg | <ul><li>非パーティションテーブル: v3.0+</li><li>DATE および DATETIME 型パーティション: v3.1.4 & v3.2+</li><li>STRING 型パーティションキーを DATE 型に変換: v3.1.4 & v3.2+</li><li>Iceberg View 上のマテリアライズドビュー: サポート予定</li><li>パーティショントランスフォーム: v3.2.3</li><li>パーティションレベルのリフレッシュ: v3.1.7 & v3.2.3</li><li>多層パーティショニング: v3.5+</li></ul> | v3.1.5+<br />v3.2+ |
|
||||
| Hudi | <ul><li>非パーティションテーブル: v3.2+</li><li>DATE および DATETIME 型パーティション: v3.2+</li><li>多層パーティショニング: サポート予定</li></ul> | 安定していない |
|
||||
| Paimon | <ul><li>非パーティションテーブル: v2.5.4 & v3.0+</li><li>DATE および DATETIME 型パーティション: サポート予定</li><li>多層パーティショニング: サポート予定</li></ul> | 安定していない |
|
||||
| DeltaLake | <ul><li>非パーティションテーブル: v3.2+</li><li>パーティションテーブル: サポート予定</li><li>多層パーティショニング: サポート予定</li></ul> | 安定していない |
|
||||
|
|
@ -118,4 +119,4 @@ sidebar_label: 機能サポート
|
|||
| クエリダンプ | マテリアライズドビューがクエリされたときにその情報をダンプします。 | v3.1+ |
|
||||
| リフレッシュ監査ログ | マテリアライズドビューがリフレッシュされたときに監査ログに実行された SQL を記録します。 | v2.5.8+<br />v3.0.3+<br />v3.1+ |
|
||||
| ヒット監査ログ | クエリがマテリアライズドビューに書き換えられたときに、ヒットしたマテリアライズドビューと候補マテリアライズドビューを監査ログに記録します。 | v3.1.4+<br />v3.2+ |
|
||||
| 監視メトリクス | マテリアライズドビュー専用の監視メトリクス。 | v3.1.4+<br />v3.2+ |
|
||||
| 監視メトリクス | マテリアライズドビュー専用の監視メトリクス。 | v3.1.4+<br />v3.2+ |
|
||||
|
|
|
|||
|
|
@ -196,7 +196,9 @@ Iceberg Catalog 支持 HMS、Glue 和 Tabular 作为其元数据服务。大多
|
|||
|
||||
### Iceberg 视图
|
||||
|
||||
StarRocks 从 v3.3.2 版本开始支持查询 Iceberg 视图。目前仅支持读取通过 StarRocks 创建的视图。
|
||||
StarRocks 从 v3.3.2 版本开始支持查询 Iceberg 视图,并从 v3.5 版本开始支持创建 Iceberg 视图。
|
||||
|
||||
目前仅支持读取通过 StarRocks 创建的视图。从 v3.5 版本开始,支持为已有的 Iceberg 视图增加 StarRocks 语法风格的定义。
|
||||
|
||||
### 查询统计接口
|
||||
|
||||
|
|
|
|||
|
|
@ -74,6 +74,7 @@ sidebar_label: "能力边界"
|
|||
| [时间粒度上卷对齐分区 (STRING 类型)](use_cases/create_partitioned_materialized_view.md#时间粒度上卷对齐分区) | 通过在分区键上使用 `date_trunc` 函数,创建一个分区粒度大于基表的物化视图。分区键必须为 STRING 类型。 | v3.1.4+<br />v3.2+ |
|
||||
| [自定义时间粒度对齐分区](use_cases/create_partitioned_materialized_view.md#自定义时间粒度对齐分区) | 使用 `date_trunc` 函数与 `time_slice` 或 `date_slice` 函数自定义时间粒度来创建物化视图分区。 | v3.2+ |
|
||||
| [多基表对齐分区](use_cases/create_partitioned_materialized_view.md#多基表对齐分区) | 如果多张基表的分区可以互相对齐,即基表使用相同类型的分区键,可以基于多张基表创建分区物化视图。 | v3.3+ |
|
||||
| [多分区列对齐](use_cases/create_partitioned_materialized_view.md#多分区列对齐) | 为物化视图指定多个分区列,一一映射基表的分区列。 | v3.5+ |
|
||||
|
||||
**不同 Join 方式**
|
||||
|
||||
|
|
@ -86,7 +87,7 @@ sidebar_label: "能力边界"
|
|||
| 外部数据源 | 支持场景和版本 | 稳定版本 |
|
||||
| :----------------- | :----------------------------------------------------------- | :--------- |
|
||||
| Hive | <ul><li>非分区表:v2.5.4 & v3.0+</li><li>DATE 和 DATETIME 类型分区:v2.5.4 & v3.0+</li><li>STRING 类型分区键转化为 DATE 类型:v3.1.4 & v3.2+</li><li>基于 Hive 视图的物化视图:待支持</li><li>多级分区:待支持</li></ul> | v2.5.13+<br />v3.0.6+<br />v3.1.5+<br />v3.2+ |
|
||||
| Iceberg | <ul><li>非分区表:v3.0+</li><li>DATE 和 DATETIME 类型分区:v3.1.4 & v3.2+</li><li>STRING 类型分区键转化为 DATE 类型:v3.1.4 & v3.2+</li><li>基于 Iceberg 视图的物化视图:待支持</li><li>Partition Transform:v3.2.3</li><li>分区级刷新:v3.1.7 & v3.2.3</li><li>多级分区:待支持</li></ul> | v3.1.5+<br />v3.2+ |
|
||||
| Iceberg | <ul><li>非分区表:v3.0+</li><li>DATE 和 DATETIME 类型分区:v3.1.4 & v3.2+</li><li>STRING 类型分区键转化为 DATE 类型:v3.1.4 & v3.2+</li><li>基于 Iceberg 视图的物化视图:待支持</li><li>Partition Transform:v3.2.3</li><li>分区级刷新:v3.1.7 & v3.2.3</li><li>多级分区:v3.5+</li></ul> | v3.1.5+<br />v3.2+ |
|
||||
| Hudi | <ul><li>非分区表:v3.2+</li><li>DATE 和 DATETIME 类型分区:v3.2+</li><li>多级分区:待支持</li></ul> | 不稳定 |
|
||||
| Paimon | <ul><li>非分区表:v2.5.4 & v3.0+</li><li>DATE 和 DATETIME 类型分区:待支持</li><li>多级分区:待支持</li></ul> | 不稳定 |
|
||||
| DeltaLake | <ul><li>非分区表:v3.2+</li><li>分区表:待支持</li><li>多级分区:待支持</li></ul> | 不稳定 |
|
||||
|
|
|
|||
|
|
@ -271,7 +271,7 @@ GROUP BY
|
|||
|
||||
### 多分区列对齐
|
||||
|
||||
自 v3.4.1 起,异步物化视图支持多列分区表达式。您可以为物化视图指定多个分区列,一一映射基表的分区列。这使得基于物化视图的湖仓一体化方案得以实现,同时也能充分利用现有的 StarRocks 内表功能,提升 Lakehouse 的解决方案能力:
|
||||
自 v3.5.0 起,异步物化视图支持多列分区表达式。您可以为物化视图指定多个分区列,一一映射基表的分区列。这使得基于物化视图的湖仓一体化方案得以实现,同时也能充分利用现有的 StarRocks 内表功能,提升 Lakehouse 的解决方案能力:
|
||||
|
||||
- **简化用户操作**:简化数据从湖上流转到 StarRocks 的过程。
|
||||
- **加速查询性能**:在创建物化视图时复用内表功能,如 Colocate Group、Bitmap Index、Bloom Filter Index、Sort Key 和全局字典。对于直接基于基表的查询,物化视图会透明加速查询并自动改写。
|
||||
|
|
|
|||
Loading…
Reference in New Issue