【转】微信、陌陌架构方案分析

2023-11-23 19:16:52

来源：http://www.wubiao.info/401

作者：wubiao

微信、陌陌架构方案分析

近两年、手机应用。莫过于微信、陌陌之类最受欢迎。但实现原理，分享文章甚少。

故，提出两种方案，供分享；不正确之处。敬请留言学习。

目标

解决大型应用（微信、陌陌级别）中。用户经纬度在不断更新。用户查找频繁的问题。

（每分钟1000W级）

=================================================================================================
方案A

本方案前。请先阅读 http://www.wubiao.info/372

由上文，简单可得；
1、仅需每分钟将用户的经纬度。上报到数据库；
2、然后每次用户查找附近好友时，通过 LIKE ‘wm3yr3%’，就可以获取

缺点：稍有一定数据量。对数据库的鸭梨可想而知

=================================================================================================
方案B

策略

假象把中国分成，若干个一平方公里的单元格，
1、用户位置的变更，理解为一个单元格移动到另外一个单元格（或者不移动）
2、用户查找附近，理解为查找，自己所在方块的的全部人

数据结构

1、用户基本信息纬度、经度、GeoHash值（经纬度。仅用于后期距离计算）
2、单元格集合（用户1，用户2，…）

存储工具

1、redis string（key->value）结构，存储用户基本信息
2、redis set（集合）结构，以GeoHash值，前6位作为key（约表示一平方千米），存储单元格的用户群

算法流程

1、更新用户信息，先删除用户原所在集合，再更新当前用户信息，最后更新当前用户所在集合
2、查找附近。直接查找，所在单元格集合全部用户ID

详细实现

<?php
 
 /**

  * LBS核心类

  *

  * @author name <simplephp@163.com>

  * @site http://www.wubiao.info

  */
 
include_once(‘geohash.class.php‘);
 
class lbs
{
 
    //索引长度 6位

    protected $index_len = 6;
 
    protected $redis;
 
    protected $geohash;
 
    public function __construct()

    {

        //redis

        $this->redis = new Redis();

        $this->redis->pconnect(‘127.0.0.1‘,‘6379‘);
 
        //geohash

        $this->geohash = new Geohash();

    }
 
    /**

    * 更新用户信息

    *

    * @param mixed $latitude 纬度

    * @param mixed $longitude 经度

    */

    public function upinfo($user_id,$latitude,$longitude)

    {
 
        //原数据处理
 
        //获取原Geohash

        $o_hashdata = $this->redis->hGet($user_id,‘geo‘);
 
        if(!empty($o_hashdata))

        {

            //原索引

            $o_index_key = substr($o_hashdata, 0, $this->index_len);
 
            //删除

            $this->redis->sRem($o_index_key,$user_id);

        }
 
        //新数据处理
 
        //纬度

        $this->redis->hSet($user_id,‘la‘,$latitude);
 
        //经度

        $this->redis->hSet($user_id,‘lo‘,$longitude);
 
        //Geohash

        $hashdata = $this->geohash->encode($latitude,$longitude);

        $this->redis->hSet($user_id,‘geo‘,$hashdata);
 
        //索引

        $index_key = substr($hashdata, 0, $this->index_len);
 
        //存入

        $this->redis->sAdd($index_key,$user_id);
 
        return true;

    }
 
    /**

    * 获取附近用户

    *

    * @param mixed $latitude 纬度

    * @param mixed $longitude 经度

    */

    public function serach($latitude,$longitude)

    {

        //Geohash

        $hashdata = $this->geohash->encode($latitude,$longitude);
 
        //索引

        $index_key = substr($hashdata, 0, $this->index_len);
 
        //取得

        $user_id_array = $this->redis->sMembers($index_key);
 
        return $user_id_array;

    }
 
}
 
?>

性能測试

<?php
 
 /**

  * 模拟数据上报

  *

  * @author name <simplephp@163.com>

  * @site http://www.wubiao.info

  */
 
include_once(‘lbs.class.php‘);
 
$b_time = microtime(true);
 
$n = 0;
 
while(1)
{

    //user_id 1~1000000

    $user_id = rand(1,1000000);
 
    //latitude 30.59773~30.726786

    $rand_latitude = rand(30597730,30726786);

    $latitude = $rand_latitude/1000000;
 
    //longitude 103.983192 ~104.16069

    $rand_longitude = rand(103983192,104160690);

    $longitude = $rand_longitude/1000000;
 
    $lbs = new lbs();
 
    $lbs->upinfo($user_id,$latitude,$longitude);
 
    $n++;

    mylog($n);
 
    $e_time = microtime(true);
 
    if(($e_time-$b_time)>=60)

    {

        exit;

    }
}
 
function mylog($content)
{

    file_put_contents(‘upinfo.log‘,$content."\r\n",FILE_APPEND);
}
 
?>

<?php
 
 /**

  * 模拟查找附近

  *

  * @author name <simplephp@163.com>

  * @site http://www.wubiao.info

  */
 
include_once(‘lbs.class.php‘);
 
$b_time = microtime(true);
 
$n = 0;
 
while(1)
{

    //latitude 30.59773~30.726786

    $rand_latitude = rand(30597730,30726786);

    $latitude = $rand_latitude/1000000;
 
    //longitude 103.983192 ~104.16069

    $rand_longitude = rand(103983192,104160690);

    $longitude = $rand_longitude/1000000;
 
    $lbs = new lbs();
 
    $re = $lbs->serach($latitude,$longitude);
 
    $n++;

    mylog($n);
 
    $e_time = microtime(true);
 
    if(($e_time-$b_time)>=60)

    {

        exit;

    }
}
 
function mylog($content)
{

    file_put_contents(‘search.log‘,$content."\r\n",FILE_APPEND);
}
 
?>

測试环境

虚拟机。内存256M，主频2.93GHz

性能结果

模拟了100W活跃用户行为，不断更新。不断查找附近好友

//60 seconds insert
88544

//60 seconds search
117660

//成都 100W人，数据占用内存
11.97M

总结

从測试结果来看，全然能满足，微信、陌陌之类的性能要求；

尚可改进之处：

1、Geohash。可写成PHP C扩展。或者其它Geohash实现方式
2、Redis，内存消耗较大，可考虑redis集群方案
3、本文仅查出本单元格用户。提高精度，可查出周围八个单元个。求交集
4、求出结果，如需依照由远到近排序。读出Redis经纬度。利用距离公式排序方可。

（可參照上一篇文字）

附redis安装方法
=================================================================================================
//redis

wget http://redis.googlecode.com/files/redis-2.4.14.tar.gz
make

make install
 
//配置

cp redis.conf /etc/
 
vi /etc/redis.conf
#后台

daemonize yes
#日志

logfile /dev/null
#存储

dir ./
 
//小内存，内核參数

echo 1 > /proc/sys/vm/overcommit_memory
 
//防火墙

vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
service iptables restart
 
//启动

redis-server /etc/redis.conf
 
//測试

redis-cli set foo bar
OK
redis-cli get foo
bar

=================================================================================================
//php redis 扩展

//源代码
 
http://pecl.php.net/package/redis
 
//手冊
 
http://redis.readthedocs.org/en/latest/
 
//安装
/opt/server/php/bin/phpize

./configure --with-php-config=/opt/server/php/bin/php-config
make

make install
 
//配置

vi php.ini
[redis]
extension = redis.so

来源：http://www.wubiao.info/372

查找附近的xxx 球面距离以及Geohash方案探讨

随着移动终端的普及，非常多应用都基于LBS功能，附近的某某（餐馆、银行、妹纸等等）。

基础数据中。一般保存了目标位置的经纬度；利用用户提供的经纬度。进行对照。从而获得是否在附近。

目标：
查找附近的XXX，由近到远返回结果，且结果中有与目标点的距离。

针对查找附近的XXX，提出两个方案。例如以下：

一、方案A:
=================================================================================================

抽象为球面两点距离的计算，即已知道球面上两点的经纬度；
点（纬度，经度），A($radLat1,$radLng1)、B($radLat2,$radLng2);

长处：通俗易懂，部署简单便捷

缺点：每次都会查询数据库，性能堪忧

1、推导

通过余弦定理以及弧度计算方法，终于推导出来的算式A为：

$s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R;

眼下网上大多使用Google公开的距离计算公司。推导算式B为：

$s = 2*asin(sqrt(pow(sin(($radLat1-$radLat2)/2),2)+cos($radLat1)*cos($radLat2)*pow(sin(($radLng1-$radLng2)/2),2)))*$R;

当中 :
$radLat1、$radLng1，$radLat2，$radLng2 为弧度

$R 为地球半径

2、通过測试两种算法。结果相同且都正确，但通过PHP代码測试，两点间距离，10W次性能对照。自行推导版本号计算时长算式B较优，例如以下：

//算式A
0.56368780136108float(431)
0.57460689544678float(431)
0.59051203727722float(431)

//算式B
0.47404885292053float(431)
0.47808718681335float(431)
0.47946381568909float(431)

3、所以採用数学方法推导出的公式:

<?php
 
    //依据经纬度计算距离 当中A($lat1,$lng1)、B($lat2,$lng2)

    public static function getDistance($lat1,$lng1,$lat2,$lng2)

    {   

        //地球半径

        $R = 6378137;
 
        //将角度转为狐度

        $radLat1 = deg2rad($lat1);

        $radLat2 = deg2rad($lat2);

        $radLng1 = deg2rad($lng1);

        $radLng2 = deg2rad($lng2);

        //结果

        $s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R;
 
        //精度

        $s = round($s* 10000)/10000;
 
        return  round($s);

    }
 
?>

4、在实际应用中。须要从数据库中遍历取出符合条件，以及排序等操作，

将全部数据取出。然后通过PHP循环对照，筛选符合条件结果，显然性能低下；所以我们利用下Mysql存储函数来解决问题吧。

4.1、创建Mysql存储函数,并对经纬度字段建立索引

DELIMITER $$
 
CREATE DEFINER=`root`@`%` FUNCTION `GETDISTANCE`(lat1 DOUBLE, lng1 DOUBLE, lat2 DOUBLE, lng2 DOUBLE) RETURNS double
 
READS SQL DATA
 
DETERMINISTIC
 
BEGIN
 
DECLARE RAD DOUBLE;
 
DECLARE EARTH_RADIUS DOUBLE DEFAULT 6378137;
 
DECLARE radLat1 DOUBLE;
 
DECLARE radLat2 DOUBLE;
 
DECLARE radLng1 DOUBLE;
 
DECLARE radLng2 DOUBLE;
 
DECLARE s DOUBLE;
 
SET RAD = PI() / 180.0;
 
SET radLat1 = lat1 * RAD;
 
SET radLat2 = lat2 * RAD;
 
SET radLng1 = lng1 * RAD;
 
SET radLng2 = lng2 * RAD;
 
SET s = ACOS(COS(radLat1)*COS(radLat2)*COS(radLng1-radLng2)+SIN(radLat1)*SIN(radLat2))*EARTH_RADIUS;
 
SET s = ROUND(s * 10000) / 10000;
 
RETURN s;
 
END$$
 
DELIMITER ;

4.2、查询SQL

通过SQL，可设置距离以及排序；可搜索出符合条件的信息，以及有一个较好的排序

SELECT *,latitude,longitude,GETDISTANCE(latitude,longitude,30.663262,104.071619) AS distance FROM  mb_shop_ext where 1 HAVING distance<1000 ORDER BY distance ASC LIMIT 0,10

二、方案B
=================================================================================================

Geohash算法；geohash是一种地址编码，它能把二维的经纬度编码成一维的字符串。
比方，成都永丰立交的编码是wm3yr31d2524

长处:

1、利用一个字段。就可以存储经纬度；搜索时。仅仅需一条索引，效率较高
2、编码的前缀能够表示更大的区域。查找附近的。非常方便。 SQL中，LIKE ‘wm3yr3%’。就可以查询附近的全部地点。

3、通过编码精度可模糊坐标、隐私保护等。

缺点: 距离和排序需二次运算（筛选结果中执行，事实上挺快）

1、geohash的编码算法

成都永丰立交经纬度(30.63578,104.031601)

1.1、纬度范围(-90, 90)平分成两个区间(-90, 0)、(0, 90)。假设目标纬度位于前一个区间，则编码为0，否则编码为1。

由于30.625265属于(0, 90)，所以取编码为1。

然后再将(0, 90)分成 (0, 45), (45, 90)两个区间，而39.92324位于(0, 45)，所以编码为0，
然后再将(0, 45)分成 (0, 22.5), (22.5, 45)两个区间。而39.92324位于(22.5, 45)，所以编码为1。
依次类推可得永丰立交纬度编码为101010111001001000100101101010。

1.2、经度也用相同的算法，对(-180, 180)依次细分，(-180，0)、(0,180) 得出编码110010011111101001100000000000

1.3、合并经纬度编码，从高到低。先取一位经度。再取一位纬度；得出结果 111001001100011111101011100011000010110000010001010001000100

1.4、用0-9、b-z（去掉a, i, l, o）这32个字母进行base32编码。得到(30.63578,104.031601)的编码为wm3yr31d2524。

11100 10011 00011 11110 10111 00011 00001 01100 00010 00101 00010 00100 => wm3yr31d2524
 
十进制  0   1   2   3   4   5   6   7   8   9   10  11  12  13  14  15
base32   0   1   2   3   4   5   6   7   8   9   b   c   d   e   f   g
十进制  16  17  18  19  20  21  22  23  24  25  26  27  28  29  30  31

base32   h   j   k   m   n   p   q   r   s   t   u   v   w   x   y   z

2、策略

1、在纬度和经度入库时，数据库新加一字段geohash，记录此点的geohash值

2、查找附近，利用在SQL中 LIKE ‘wm3yr3%’；且此结果可缓存；在小区域内。不会由于改变经纬度。而又一次数据库查询

3、查找出的有限结果，如须要求距离或者排序。可利用距离公式和二维数据排序；此时也是少量数据，会非常快的。

3、PHP基类

geohash.class.php

<?php
 
/**
* Encode and decode geohashes
*
*/
 
class Geohash
{

    private $coding="0123456789bcdefghjkmnpqrstuvwxyz";

    private $codingMap=array();
 
    public function Geohash()

    {

        for($i=0; $i<32; $i++)

        {

            $this->codingMap[substr($this->coding,$i,1)]=str_pad(decbin($i), 5, "0", STR_PAD_LEFT);

        }
 
    }
 
    public function decode($hash)

    {

        $binary="";

        $hl=strlen($hash);

        for($i=0; $i<$hl; $i++)

        {

            $binary.=$this->codingMap[substr($hash,$i,1)];

        }
 
        $bl=strlen($binary);

        $blat="";

        $blong="";

        for ($i=0; $i<$bl; $i++)

        {

            if ($i%2)

                $blat=$blat.substr($binary,$i,1);

            else

                $blong=$blong.substr($binary,$i,1);
 
        }
 
        $lat=$this->binDecode($blat,-90,90);

        $long=$this->binDecode($blong,-180,180);
 
        $latErr=$this->calcError(strlen($blat),-90,90);

        $longErr=$this->calcError(strlen($blong),-180,180);
 
        $latPlaces=max(1, -round(log10($latErr))) - 1;

        $longPlaces=max(1, -round(log10($longErr))) - 1;
 
        $lat=round($lat, $latPlaces);

        $long=round($long, $longPlaces);
 
        return array($lat,$long);

    }
 
    public function encode($lat,$long)

    {

        $plat=$this->precision($lat);

        $latbits=1;

        $err=45;

        while($err>$plat)

        {

            $latbits++;

            $err/=2;

        }
 
        $plong=$this->precision($long);

        $longbits=1;

        $err=90;

        while($err>$plong)

        {

            $longbits++;

            $err/=2;

        }
 
        $bits=max($latbits,$longbits);
 
        $longbits=$bits;

        $latbits=$bits;

        $addlong=1;

        while (($longbits+$latbits)%5 != 0)

        {

            $longbits+=$addlong;

            $latbits+=!$addlong;

            $addlong=!$addlong;

        }
 
        $blat=$this->binEncode($lat,-90,90, $latbits);
 
        $blong=$this->binEncode($long,-180,180,$longbits);
 
        $binary="";

        $uselong=1;

        while (strlen($blat)+strlen($blong))

        {

            if ($uselong)

            {

                $binary=$binary.substr($blong,0,1);

                $blong=substr($blong,1);

            }

            else

            {

                $binary=$binary.substr($blat,0,1);

                $blat=substr($blat,1);

            }

            $uselong=!$uselong;

        }
 
        $hash="";

        for ($i=0; $i<strlen($binary); $i+=5)

        {

            $n=bindec(substr($binary,$i,5));

            $hash=$hash.$this->coding[$n];

        }
 
        return $hash;

    }
 
    private function calcError($bits,$min,$max)

    {

        $err=($max-$min)/2;

        while ($bits--)

            $err/=2;

        return $err;

    }
 
    private function precision($number)

    {

        $precision=0;

        $pt=strpos($number,‘.‘);

        if ($pt!==false)

        {

            $precision=-(strlen($number)-$pt-1);

        }
 
        return pow(10,$precision)/2;

    }
 
    private function binEncode($number, $min, $max, $bitcount)

    {

        if ($bitcount==0)

            return "";

        $mid=($min+$max)/2;

        if ($number>$mid)

            return "1".$this->binEncode($number, $mid, $max,$bitcount-1);

        else

            return "0".$this->binEncode($number, $min, $mid,$bitcount-1);

    }
 
    private function binDecode($binary, $min, $max)

    {

        $mid=($min+$max)/2;
 
        if (strlen($binary)==0)

            return $mid;
 
        $bit=substr($binary,0,1);

        $binary=substr($binary,1);
 
        if ($bit==1)

            return $this->binDecode($binary, $mid, $max);

        else

            return $this->binDecode($binary, $min, $mid);

    }
}
 
?>

三、測试

<?php
 
require_once(‘Mysql.class.php‘);

require_once(‘geohash.class.php‘);
 
//mysql
$conf = array(
 
    ‘host‘ => ‘127.0.0.1‘,

    ‘port‘ => 3306,

    ‘user‘ => ‘root‘,

    ‘password‘ => ‘123456‘,

    ‘database‘ => ‘mocube‘,

    ‘charset‘ => ‘utf8‘,

    ‘persistent‘ => false
);
 
$mysql = new Db_Mysql($conf);
$geohash=new Geohash;
 
//经纬度转换成Geohash
/*
 
$sql = ‘select shop_id,latitude,longitude from mb_shop_ext‘;
 
$data = $mysql->queryAll($sql);
 
foreach($data as $val)
{
 
  $geohash_val = $geohash->encode($val[‘latitude‘],$val[‘longitude‘]);
 
  $sql = ‘update mb_shop_ext set geohash= "‘.$geohash_val.‘" where shop_id = ‘.$val[‘shop_id‘];
 
  echo $sql;
 
  $re = $mysql->query($sql);
 
  var_dump($re);
 
}
*/
 
//获取附近的信息

$n_latitude = $_GET[‘la‘];

$n_longitude = $_GET[‘lo‘];
 
//開始

$b_time = microtime(true);
 
//方案A。直接利用数据库存储函数，遍历排序
/*

$sql = ‘SELECT *,latitude,longitude,GETDISTANCE(latitude,longitude,‘.$n_latitude.‘,‘.$n_longitude.‘) AS distance FROM  mb_shop_ext where 1 HAVING distance<1000 ORDER BY distance ASC‘;
 
$data = $mysql->queryAll($sql);
 
//结束

$e_time = microtime(true);
 
echo $e_time - $b_time;
 
var_dump($data);

exit;
*/
 
//方案B geohash求出附近，然后排序
 
//当前 geohash值
$n_geohash = $geohash->encode($n_latitude,$n_longitude);
 
//附近

$n = $_GET[‘n‘];
$like_geohash = substr($n_geohash, 0, $n);
 
$sql = ‘select * from mb_shop_ext where geohash like "‘.$like_geohash.‘%"‘;
 
echo $sql;
 
$data = $mysql->queryAll($sql);
 
//算出实际距离
foreach($data as $key=>$val)
{

    $distance = getDistance($n_latitude,$n_longitude,$val[‘latitude‘],$val[‘longitude‘]);
 
    $data[$key][‘distance‘] = $distance;
 
    //排序列

    $sortdistance[$key] = $distance;
}
 
//距离排序
array_multisort($sortdistance,SORT_ASC,$data);
 
//结束

$e_time = microtime(true);
 
echo $e_time - $b_time;
 
var_dump($data);
 
//依据经纬度计算距离 当中A($lat1,$lng1)、B($lat2,$lng2)

function getDistance($lat1,$lng1,$lat2,$lng2)
{

    //地球半径

    $R = 6378137;
 
    //将角度转为狐度

    $radLat1 = deg2rad($lat1);

    $radLat2 = deg2rad($lat2);

    $radLng1 = deg2rad($lng1);

    $radLng2 = deg2rad($lng2);
 
    //结果

    $s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R;
 
    //精度

    $s = round($s* 10000)/10000;
 
    return  round($s);
}
 
?>

四、总结

方案B的亮点在于：
1、搜索结果可缓存，反复使用，不会由于用户有小范围的移动。直接穿透数据库查询。
2、先缩小结果范围，再运算、排序，可提升性能。

254条记录，性能对照，

在实际应用场景中，方案B数据库搜索可内存缓存。且如数据量更大。方案B结果会更优。

方案A:
0.016560077667236
0.032402992248535
0.040318012237549

方案B
0.0079810619354248
0.0079669952392578
0.0064868927001953

五、其它

两种方案，依据应用场景以及负载情况合理选择，当然推荐方案B;
无论哪种方案，都记得，给列加上索引，利于数据库检索。

【转】微信、陌陌架构方案分析

码农公寓

查找附近的xxx 球面距离以及Geohash方案探讨

相关文章