poll

同步与异步，阻塞与非阻塞的区别,以及select,poll和epoll

异步的概念和同步相对。 （1）当一个同步调用发出后，调用者要一直等待返回消息（结果）通知后，才能进行后续的执行； （2）当一个异步过程调用发出后，调用者不能立刻得到返回消息（结果）。实际处理这个调用的部件在完成后，通过 状态、通知和回调 来通知调用者。 这里提到执行部件和调用者通过三种途径返回结果：状态、通知和回调。使用哪一种通知机制，依赖于执行部件的实现，除非执行部件提供多种选择，否则不受调用者控制。 （A）阻塞调用是指调用结果返回之前，当前线程会被挂起，一直处于等待消息通知，不能够执行其他业务 (B)非阻塞调用是指在不能立刻得到结果之前，该函数不会阻塞当前线程，而会立刻返回 场景比喻： 举个例子，比如我去银行办理业务，可能会有两种方式： 在上面的场景中，如果： a)如果选择排队(同步)，且排队的时候什么都不干(线程被挂起，什么都干不了)，是同步阻塞模型； b)如果选择排队(同步)，但是排队的同时做与办银行业务无关的事情，比如抽烟，（线程没有被挂起，还可以干一些其他的事），是同步非阻塞模型； c）如果选择拿个小票，做在位置上等着叫号（通知），但是坐在位置上什么都不干（线程被挂起，什么都干不了），这是异步阻塞模型； d）如果选择那个小票，坐在位置上等着叫号(通知)，但是坐着的同时还打电话谈生意(线程没有被挂起，还可以干其他事情)，这是异步非阻塞模型。 对这四种模型做一个总结： 1：同步阻塞模型，效率最低，即你专心排队，什么都不干。 2：异步阻塞，效率也非常低，即你拿着号等着被叫（通知），但是坐那什么都不干 3：同步非阻塞，效率其实也不高，因为涉及到线程的来回切换。即你在排队的同时打电话或者抽烟，但是你必须时不时得在队伍中挪动。程序需要在排队和打电话这两种动作之间来回切换，系统开销可想而知。 4：异步非阻塞，效率很高，你拿着小票在那坐着等叫号(通知)的同时，打电话谈你的生意。 linux下几个基本概念 1：用户控件和内核空间。 现代操作系统都是采用虚拟存储器，在32位操作系统下，它的寻址空间(虚拟存储空间)为4G(2的32次方)。为了保证用户进程补鞥呢直接操作内核，保证内核的安全，操作系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。对linux操作系统而言，将最高的1G字节空间分给了内核使用，称为内核空间，将较低的3G字节的空间划分为用户空间。 2：进程切换很耗资源 ，为了控制进程的执行，内核必须有能力挂起正在cpu上运行的进程，并恢复以前挂起的某个进程的执行，这种行为叫进程的切换。每次切换，要保存上一个的上下文环境等等，总之记住进程切换很耗资源。 3：文件描述符 ：文件描述符在形式上是一个非负整数。实际上，他是一个索引，指向内核为每个进程所维护的该进程打开文件的记录表。当程序打开一个文件时，内核就会向进程返回一个非负整数的文件描述符。但是文件描述符一般在unix，linux系统中才讲。 缓存IO ，大多数系统的默认IO操作都是缓存IO,在linux的缓存IO机制中，操作系统会将IO的数据缓存在系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。 缓存IO的缺点： 数据在传输过程中需要在应用程序和地址空间和内核进行多次数据拷贝操作，这种数据拷贝操作锁带来的cpu以及内存消耗是很大的。 LINUX的IO模型 网络IO的本质是socket的读取。socket在linux系统被抽象为流，故对网络IO的操作可以理解为对流的操作。 对于一次IO访问，比如以read操作为例， 数据会先被拷贝到操作系统内核的缓冲区，然后才会从内核缓冲区拷贝到进程的用户层，即应用程序的地址空间 。故当一个read操作发生时，其实是经历了两个阶段： 1：内核缓冲区的数据就位 2：数据从内核缓冲区拷贝到用户程序地址空间 那么具体到socket io的一次read操来说，这两步分别是： 1：等待网络上的数据分组到达，然后复制到内核缓冲区中 2：数据从内核缓冲区拷贝到用户程序的地址空间(缓冲区) 所以说 网络应用要处理的无非就两个问题：网络IO和数据计算 ，一般来说网络io带来的延迟影响比较大。 网络IO的模型大致有如下几种： 熟悉不？ 我们常说的select，poll和epoll就是属于同步模型中多路复用IO的不同实现方法罢了。 下面分别对同步阻塞，同步不阻塞，同步io复用进行说明。 一：同步阻塞 它是最简单也最常用的网络IO模型。linux下默认的socket都是blocking的。 从图中可以看到，用户进程调用recvfrom这个系统调用后，就处于阻塞状态。然后kernel就开始了IO的第一个阶段：数据准备。等第一个阶段准备完成之后，kernel开始第二阶段，将数据从内核缓冲区拷贝到用户程序缓冲区（需要花费一定时间）。然后kernel返回结果（确切的说是recvfrom这个系统调用函数返回结果），用户进程才结束blocking，重新运行起来。 总结 ： 同步阻塞模型下，用户程序在kernel执行io的两个阶段都被blocking住了 。但是优点也是因为这个，无延迟能及时返回数据，且程序模型简单。 二：同步非阻塞 同步非阻塞就是隔一会瞄一下的轮询方式。同步非阻塞模式其实是可以看做一小段一小段的同步阻塞模式。 三：IO多路复用 由于同步非阻塞方式需要不断的轮询，光轮询就占据了很大一部分过程，且消耗cpu资源。而这个用户进程可能不止对这个socket的read，可能还有对其他socket的read或者write操作，那人们就想到了一次轮询的时候，不光只查询询一个socket fd，而是在一次轮询下，查询多个任务的socket fd的完成状态，只要有任何一个任务完成，就去处理它。而且，轮询人不是进程的用户态，而是有人帮忙就好了。那么这就是所谓的 IO多路复用 。总所周知的linux下的select，poll和epoll就是这么干的。。。 selelct调用是内核级别的，selelct轮询相比较同步非阻塞模式下的轮询的区别为： 前者可以等待多个socket，能实现同时对多个IO端口的监听 ，当其中任何一个socket数据准备好了，就返回可读。 select或poll调用之后，会阻塞进程 ，与blocking IO 阻塞不用在于，此时的select不是等到所有socket数据达到再处理，而是某个socket数据就会返回给用户进程来处理。 其实select这种相比较同步non-blocking的效果在单个任务的情况下可能还更差一些 ，因为这里调用了select和recvfrom两个system call，而non-blocking只调用了一个recvfrom，但是 用select的优势在于它可以同时处理多个socket fd 。 在io复用模型下，对于每一个socket，一般都设置成non-blocking，但是其实 整个用户进程是一直被block的 ，只不过用户process不是被socket IO给block住，而是被select这个函数block住的。 与多进程多线程技术相比，IO多路复用的最大优势是系统开销小。 一：select select函数监视多个socket fs，直到有描述符就绪或者超时，函数返回。当select函数返回后，可以通过遍历fdset，来找到就绪的描述符。select的基本流程为： 二：poll poll本质上跟select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd的状态，如果某个fd的状态为就绪，则将此fd加入到等待队列中并继续遍历。如果遍历完所有的fd后发现没有就绪的，则挂起当前进程，直到设备就绪或者主动超时。被唤醒后它又要再次遍历fd。 特点： 1：poll没有最大连接数限制，因为它是用基于链表来存储的，跟selelct直接监听fd不一样。 2：同样的大量的fd的数组被整体复制与用户态和内核地址空间之间。 3：poll还有一个特点是水平触发：如果报告了fd后没有被处理，则下次poll时还会再次报告该fd。 4：跟select一样，在poll返回后，还是需要通过遍历fdset来获取已经就绪的socket。当fd很多时，效率会线性下降。 三：epoll epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就绪态，并且只会通知一次。还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知。 没有最大并发连接的限制，能打开的FD的上限远大于1024（1G的内存上能监听约10万个端口）。 效率提升，不是轮询的方式，不会随着FD数目的增加效率下降。只有活跃可用的FD才会调用callback函数；即Epoll最大的优点就在于它只管你“活跃”的连接，而跟连接总数无关，因此在实际的网络环境中，Epoll的效率就会远远高于select和poll。 内存拷贝，利用mmap()文件映射内存加速与内核空间的消息传递；即epoll使用mmap减少复制开销。 聊聊同步、异步、阻塞与非阻塞 聊聊Linux 五种IO模型 聊聊IO多路复用之select、poll、epoll详解

select、poll、epoll之间的区别

select :它仅仅知道了， 有 I/O 事件发生了，却并不知道是哪那几个流 (可能有一个，多个， 甚至全部)，我们只能无差别轮询所有流，找出能读出数据，或者写入数据的流，对他们进行 操作。所以 select 具有 O(n)的无差别轮询复杂度 ，同时处理的流越多，无差别轮询时间就 越长。 它是基于数组来存储的，它有最大连接数的限制。 poll :poll 本质上和 select 没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个 fd 对应的设备状态， 但是 它没有最大连接数的限制 ，原因是 它是基于链表来存储的 . epoll :epoll 可以理解为 event poll，不同于忙轮询和无差别轮询， epoll 会把哪个流发生了 怎样的 I/O 事件通知我们 。所以我们说 epoll 实际上是事件驱动(每个事件关联上 fd)的， 此时我们对这些流的操作都是有意义的。( 复杂度降低到了 O(1) )， 通过红黑树和双链表数 据结构，并结合回调机制，造就了 epoll 的高效 ，epoll_create()，epoll_ctl()和 epoll_wait()系统调用。 这就要从 epoll 的实现方式说起了。epoll 有一棵 红黑树 用来管理你感兴趣的或者说是监控的文件描述符，这样不需要像 select 和 poll 一样每次把所有的文件描述符从用户空间拷贝到内核空间，而是通过 epoll_ctl 来进行修改。除了一棵红黑树外 还有一个就绪列表，如果文件描述符就绪 比如网络包到达，对应文件描述符加入 就绪列表 ，调用 epoll_wait 从就绪列表拿到就绪文件描述符。 水平触发也就 条件触发 ，就是只要我这个文件满足条件，就一直触发。例如只要可读，后续调用 epoll_wait 时候会一直触发直到不可读。 （ 会被重新加入就绪列表 ） 所以对于水平触发，只要一直可读就一直触发，但是触发次数多了，调用epoll_wait影响性能。 边缘触发只触发一次，容易遗漏事件, 所以你要保证你把所有数据读完为止 一般是多次读直到不可读或者多次写直到数据写完。 水平触发(level-triggered，也被称为条件触发)LT: 只要满足条件，就触发一个事件(只要有数据没有被获取，内核就不断通知你) 边缘触发(edge-triggered)ET: 每当状态变化时 ，触发一个事件。 两者的区别在哪里呢？水平触发是只要读缓冲区有数据，就会一直触发可读信号，而边缘触发仅仅在空变为非空的时候通知一次， 是水平出发，一旦注册read事件，如果不读取数据，select后会一直返回channel对应的SelectionKey

Linux中select poll和epoll的区别

poll：

int poll (struct pollfd *fds, unsigned int nfds, int timeout);



不同与select使用三个位图来表示三个fdset的方式，poll使用一个 pollfd的指针实现。

struct pollfd {
int fd; /* file descriptor */
short events; /* requested events to watch */
short revents; /* returned events witnessed */
};



pollfd结构包含了要监视的event和发生的event，不再使用select“参数-值”传递的方式。同时，pollfd并没有最大数量限制（但是数量过大后性能也是会下降）。 和select函数一样，poll返回后，需要轮询pollfd来获取就绪的描述符。

从上面看，select和poll都需要在返回后，通过遍历文件描述符来获取已经就绪的socket。事实上，同时连接的大量客户端在一时刻可能只有很少的处于就绪状态，因此随着监视的描述符数量的增长，其效率也会线性下降。

epoll:

epoll的接口如下：


复制代码
int epoll_create(int size)；
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
typedef union epoll_data {
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;

struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};

int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

复制代码



主要是epoll_create,epoll_ctl和epoll_wait三个函数。epoll_create函数创建epoll文件描述符，参数size并不是限制了epoll所能监听的描述符最大个数，只是对内核初始分配内部数据结构的一个建议。返回是epoll描述符。-1表示创建失败。epoll_ctl 控制对指定描述符fd执行op操作，event是与fd关联的监听事件。op操作有三种：添加EPOLL_CTL_ADD，删除EPOLL_CTL_DEL，修改EPOLL_CTL_MOD。分别添加、删除和修改对fd的监听事件。epoll_wait 等待epfd上的io事件，最多返回maxevents个事件。

在 select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一 个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait() 时便得到通知。

epoll的优点主要是一下几个方面：

1. 监视的描述符数量不受限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左 右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。select的最大缺点就是进程打开的fd是有数量限制的。这对 于连接数量比较大的服务器来说根本不能满足。虽然也可以选择多进程的解决方案( Apache就是这样实现的)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也 不是一种完美的方案。

2. IO的效率不会随着监视fd的数量的增长而下降。epoll不同于select和poll轮询的方式，而是通过每个fd定义的回调函数来实现的。只有就绪的fd才会执行回调函数。

3.支持电平触发和边沿触发（只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，如果我们没有采取行动，那么它将不会再次告知，这种方式称为边缘触发）两种方式，理论上边缘触发的性能要更高一些，但是代码实现相当复杂。

4.mmap加速内核与用户空间的信息传递。epoll是通过内核于用户空间mmap同一块内存，避免了无畏的内存拷贝。