Groovy爬虫
groovy可以以脚本方式运行，所以在jvm环境下，groovy爬虫运行更加方便。另外，想要爬取网页的内容，重点需要经过以下几个步骤： 获取网页 获取网页的内容，可以直接使用Jsoup，考虑到网络原因，可使用以下groovy示例代码： import org.jsoup.Jsoup import o阅读更多Groovy爬虫[…]
15
2月
分类：Elasticsearch
ES聚合查询 aggs/aggregations
桶 Buckets 、指标 Metrics 桶在概念上类似于 SQL 的分组（GROUP BY），而指标则类似于 COUNT() 、 SUM() 、 MAX() 等统计方法。 桶提供了一种给文档分组的方法来让我们可以计算感兴趣的指标。 大多数 指标 是简单的数学运算（例如最小值、平均值、最大值，还有汇总），这些是通过文阅读更多ES聚合查询 aggs/aggregations[…]
23
8月
Spring中，使用RestHighLevelClient查询es
elasticsearch 的java驱动中，提供了许多查询尔对构造方式，如下： org.elasticsearch.index.query.QueryBuilders queryName 说明 关键词分词 matchAllQuery 查询所有 matchQuery 分词 multiMatchQuery 分词 matc阅读更多Spring中，使用RestHighLevelClient查询es[…]
23
8月
ES(Elasticsearch)常用查询和布尔查询boolQuery
ES完整查询示例： { “query”: { “bool”: { “must”: [ {  阅读更多ES(Elasticsearch)常用查询和布尔查询boolQuery[…]
23
8月
Elasticsearch es常用数据类型
常用的字段数据类型 text, keyword, date, long, double, boolean , ip 在建立索引时，可以指定字段的数据类型，如下： PUT /my-index-000001/_mapping { “properties”: { “a阅读更多Elasticsearch es常用数据类型[…]
23
8月
使用elasticsearch和springboot开发博客搜索服务
使用elasticsearch和springboot开发博客搜索服务，可分为两个部分： 将博客数据同步到elasticsearch：包括全量同步和增量同步 springboot整合elasticsearch开发搜索功能 elasticsearch 数据同步 先将mysql中的数据同步到es中，才能进行搜索。es的数据同阅读更多使用elasticsearch和springboot开发博客搜索服务[…]
13
12月
分布式软件系统基础介绍
分布式应用 多个软件应用服务协作，共同对外提供服务。 实际开发中，这些应用一般在内网中，每个应用各司其职。 每个应用服务可能存在多个实例。 应用之间的调用RPC： 协议 1 webservice 基于http，使用soap协议 2 http 直接通过http调用 3 dubbo 直接使用单一tcp长连接 调用feign阅读更多分布式软件系统基础介绍[…]
12
12月
Elasticsearch 集群的搭建
如下图，先将elasticsearch复制多份： 再修改配置文件 elasticsearch-6.4.3\config\elasticsearch.yml，如下： cluster.name是集群的名称，多个elasticsearch节点的配置文件中这一项应该相同。而node.name应该不同。 如果在本机启动多个ela阅读更多Elasticsearch 集群的搭建[…]
06
11月
Elasticsearch集群和分布式介绍
Elasticsearch致力于隐藏分布式系统的复杂性。以下这些操作都是在底层自动完成的： 将你的文档分区到不同的容器或者分片(shards)中，它们可以存在于一个或多个节点中。 将分片均匀的分配到各个节点，对索引和搜索做负载均衡。 冗余每一个分片，防止硬件故障造成的数据丢失。 将集群中任意一个节点上的请求路由到相应数阅读更多Elasticsearch集群和分布式介绍[…]
06
11月
ElasticsearchTemplate 的方法与 ElasticsearchOperations 接口
ElasticsearchTemplate 是在spring data 中操作Elasticsearch的模板类，其中实现了对Elasticsearch 操作的各类操作方法。例如创建索引、创建别名、创建映射，以及数据的查询和其他操作。而这些操作方法，是在接口ElasticsearchOperations中定义的， El阅读更多ElasticsearchTemplate 的方法与 ElasticsearchOperations 接口[…]
01
11月
Elasticsearch 常用查询和Http请求笔记
创建索引： 查询索引 删除索引 _search 查询 _search DSL查询 term与match的区别： term不会对查询的关键词进行分词，而是进行精确匹配，match会先对关键词进行分词，再查询。 对查询词进行分词： 指定分词器： _mapping文档映射： 查询映射： 动态映射：根据文档的字段，自动映射存储阅读更多Elasticsearch 常用查询和Http请求笔记[…]
31
10月