const currentPage = dv.current().file;
const dailyPages = dv.pages('"0-Daily"').sort(k=>k.file.name, "asc");
const currentPageName = currentPage.name;
const index = dailyPages.findIndex((e) => {return e.file.name === currentPageName});
if (index < 1) {
dv.table(["File", "Created", "Size"],[]);
} else {
const lastIndex = index - 1;
const lastPage = dailyPages[lastIndex].file;
const allPages = dv.pages().values;
const searchPages = [];
const lastTime = dv.parse(lastPage.name);
const currentTime = dv.parse(currentPage.name);
for (let page of allPages) {
const pageFile = page.file;
if (pageFile.cday > lastTime && pageFile.cday <= currentTime) {
searchPages.push(pageFile);
}
}
dv.table(["File", "Created", "Size"], searchPages.sort((a, b) => a.ctime > b.ctime ? 1 : -1).map(b => [b.link, b.ctime, b.size]));
}
数据仓和数据湖
数据仓库(Data Warehouse)和数据湖(Data Lake)都是用于大数据存储和分析的重要的数据平台,但两者有以下几点主要区别:
- 数据来源不同
数据仓库中的数据通常来自经过提取、转换、加载(ETL)等预处理后的数据,用于业务分析和决策支持。数据湖中的数据可来自各种源系统,既可以是结构化数据,也可以是半结构化或非结构化的数据。 - 数据处理不同
数据仓库在数据载入时要进行数据清洗、转换,使其符合预定的模型。数据湖采用的是Schema on Read模式,即在数据使用时再赋予Schema,数据加载时不需要转换。 - 数据组织不同
数据仓库按照事务数据的季度、年份等维度进行预先定义的分类。数据湖数据以原始格式存储,用户可以充分利用各类数据。 - 访问方式不同
数据仓库通常只能通过SQL进行访问。数据湖可以通过各种查询语言、分析工具进行访问。 - 使用场景不同
数据仓库更适用于定期的、标准化的分析报告。数据湖更适用于交互式的数据探索和建模。 - 成本不同
构建数据仓库需要投入较高成本。数据湖具有更低的存储成本和计算成本。
总体来说,数据仓库更适合传统的业务分析报表,数据湖具有存储和分析非结构化数据的优势,可支持更广泛的大数据分析应用。两者可实现互补共存。