依星源码资源网,依星资源网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

【好消息,好消息,好消息】VIP会员可以发表文章赚积分啦 !
查看: 20|回复: 0

PHP结合Elasticsearch与MySQL实现搜索分离架构的完整方案,重点解决数据同步问题

[复制链接] 主动推送

1万

主题

1万

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
18427
发表于 13 小时前 | 显示全部楼层 |阅读模式
PHP结合Elasticsearch与MySQL实现搜索分离架构的完整方案,重点解决数据同步问题

以下是PHP结合Elasticsearch与MySQL实现搜索分离架构的完整方案,重点解决数据同步问题:


一、架构设计原则
  • ‌读写分离‌
    • MySQL作为主数据库处理增删改操作(CRUD)
    • Elasticsearch仅用于搜索(Search)‌
  • ‌数据流向‌
    MySQL数据变更 → 触发同步机制 → Elasticsearch索引更新‌
  • ‌同步策略‌
    • 定时任务增量同步(适用于中小规模数据)
    • 实时监听MySQL binlog(高实时性要求)‌


二、核心实现步骤1. 环境配置

  1. // 安装Elasticsearch-PHP客户端
  2. composer require elasticsearch/elasticsearch
复制代码
  • MySQL需开启binlog(若选择实时同步)‌
  • Elasticsearch需安装IK分词插件(中文搜索优化)‌
2. 数据同步方案对比[td]
‌方案‌
‌实现方式‌
‌延迟‌
‌适用场景‌
定时任务同步通过PHP脚本定期扫描MySQL分钟级数据变更不频繁
触发器+消息队列MySQL触发器通知队列消费秒级中等规模系统
Binlog监听
使用Canal/Maxwell监听变更毫秒级
高实时性要求系统 ‌
3. 推荐实现代码(定时任务方案)
sync_mysql_to_es.php

  1. <?php
  2. require 'vendor/autoload.php';
  3. use Elasticsearch\ClientBuilder;

  4. // 初始化客户端
  5. $es = ClientBuilder::create()->setHosts(['localhost:9200'])->build();
  6. $pdo = new PDO('mysql:host=localhost;dbname=test', 'user', 'password');

  7. // 获取上次同步时间(需持久化存储)
  8. $lastSyncTime = file_get_contents('last_sync.txt') ?: '1970-01-01';

  9. // 查询MySQL变更数据
  10. $stmt = $pdo->prepare("SELECT * FROM products WHERE updated_at > ?");
  11. $stmt->execute([$lastSyncTime]);
  12. $rows = $stmt->fetchAll(PDO::FETCH_ASSOC);

  13. // 同步到Elasticsearch
  14. foreach ($rows as $row) {
  15.     $params = [
  16.         'index' => 'products',
  17.         'id'    => $row['id'],
  18.         'body'  => $row
  19.     ];
  20.     $es->index($params);
  21. }

  22. // 更新同步时间
  23. file_put_contents('last_sync.txt', date('Y-m-d H:i:s'));
复制代码

需配置cronjob定期执行此脚本,例如每5分钟一次‌


三、关键问题解决方案
  • ‌数据一致性保障‌
    • 失败重试机制:记录同步失败记录并重试‌
    • 差异对比校验:定期全量对比MySQL与ES数据‌
  • ‌性能优化‌
    • 批量操作:使用Elasticsearch的bulk API提升同步效率‌
    • 索引优化:合理设置分片数和副本数‌


四、典型应用场景示例商品搜索实现
  1. // 搜索接口示例
  2. $params = [
  3.     'index' => 'products',
  4.     'body'  => [
  5.         'query' => [
  6.             'multi_match' => [
  7.                 'query'  => $_GET['q'],
  8.                 'fields' => ['name^3', 'description'] // 权重设置
  9.             ]
  10.         ]
  11.     ]
  12. ];
  13. $results = $es->search($params);
复制代码

  • MySQL负责商品管理后台的增删改
  • Elasticsearch提供前台搜索服务‌

五、监控与维护建议
  • ‌监控指标‌
    • 同步延迟时间
    • ES集群健康状态‌
  • ‌灾备方案‌
    • 定期备份ES索引快照
    • 搭建MySQL从库避免单点故障‌


该方案通过松耦合设计,既保留了MySQL的事务特性,又利用Elasticsearch实现了高性能搜索,适合大多数Web应用场景‌。实际部署时需根据数据量和实时性要求选择合适的同步策略。


相关帖子

扫码关注微信公众号,及时获取最新资源信息!下载附件优惠VIP会员6折;永久VIP4折
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明:
1、本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
2、本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性,完整性,有效性,由于源码具有复制性,一经售出,概不退换。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任,由用户自行承担
6、本站所有资源来自互联网转载,版权归原著所有,用户访问和使用本站的条件是必须接受本站“免责声明”,如果不遵守,请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。若有学员需要商用本站资源,请务必联系版权方购买正版授权!
10、本网站如无意中侵犯了某个企业或个人的知识产权,请来信【站长信箱312337667@qq.com】告之,本站将立即删除。
郑重声明:
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理,禁止任何其他用途!
本站所有资源、教程来自互联网转载,仅供学习交流,不得商业运营资源,不确保资源完整性,图片和资源仅供参考,不提供任何技术服务。
本站资源仅供本地编辑研究学习参考,禁止未经资源商正版授权参与任何商业行为,违法行为!如需商业请购买各资源商正版授权
本站仅收集资源,提供用户自学研究使用,本站不存在私自接受协助用户架设游戏或资源,非法运营资源行为。
 
在线客服
点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
售前咨询热线
312337667

微信扫一扫,私享最新原创实用干货

QQ|免责声明|小黑屋|依星资源网 ( 鲁ICP备2021043233号-3 )|网站地图

GMT+8, 2025-7-9 23:00

Powered by Net188.com X3.4

邮箱:312337667@qq.com 客服QQ:312337667(工作时间:9:00~21:00)

快速回复 返回顶部 返回列表