linux高性能服务器编程(Linux高性能服务器编程读书心得)

一：进程和线程 每个进程有自己独立的地址空间。“在同一个进程”还是“不在同一个进程”是系统功能划分的重要决策点。《Erlang程序设计》[ERL]把进程比喻为人：每个人有自己的记忆（内存），人与人通过谈话（消息传递）来交流，谈话既可以是面谈（同一台服务器），也可以在电话里谈（不同的服务器，有网络通信）。面谈和电话谈的区别在于，面谈可以立即知道对方是否死了（crash,SIGCHLD），而电话谈只能通过周期性的心跳来判断对方是否还活着。有了这些比喻，设计分布式系统时可以采取“角色扮演”，团队里的几个人各自扮演一个进程，人的角色由进程的代码决定（管登录的、管消息分发的、管买卖的等等）。每个人有自己的记忆，但不知道别人的记忆，要想知道别人的看法，只能通过交谈（暂不考虑共享内存这种IPC）。然后就可以思考：·容错：万一有人突然死了·扩容：新人中途加进来·负载均衡：把甲的活儿挪给乙做·退休：甲要修复bug，先别派新任务，等他做完手上的事情就把他重启等等各种场景，十分便利。线程的特点是共享地址空间，从而可以高效地共享数据。一台机器上的多个进程能高效地共享代码段(操作系统可以映射为同样的物理内存)，但不能共享数据。如果多个进程大量共享内存，等于是把多进程程序当成多线程来写，掩耳盗铃。“多线程”的价值，我认为是为了更好地发挥多核处理器(multi-cores)的效能。在单核时代，多线程没有多大价值（个人想法：如果要完成的任务是CPU密集型的，那多线程没有优势，甚至因为线程切换的开销，多线程反而更慢；如果要完成的任务既有CPU计算，又有磁盘或网络IO，则使用多线程的好处是，当某个线程因为IO而阻塞时，OS可以调度其他线程执行，虽然效率确实要比任务的顺序执行效率要高，然而，这种类型的任务，可以通过单线程的”non-blocking IO+IO multiplexing”的模型（事件驱动）来提高效率，采用多线程的方式，带来的可能仅仅是编程上的简单而已）。Alan Cox说过：”A computer is a state machine.Threads are for people who can’t program state machines.”（计算机是一台状态机。线程是给那些不能编写状态机程序的人准备的）如果只有一块CPU、一个执行单元，那么确实如Alan Cox所说，按状态机的思路去写程序是最高效的。二：单线程服务器的常用编程模型据我了解，在高性能的网络程序中，使用得最为广泛的恐怕要数”non-blocking IO + IO multiplexing”这种模型，即Reactor模式。在”non-blocking IO + IO multiplexing”这种模型中，程序的基本结构是一个事件循环（event loop），以事件驱动（event-driven）和事件回调的方式实现业务逻辑：[cpp] view plain copy//代码仅为示意，没有完整考虑各种情况while(!done){int timeout_ms = max(1000, getNextTimedCallback());int retval = poll(fds, nfds, timeout_ms);if (retval<0){处理错误，回调用户的error handler}else{处理到期的timers,回调用户的timer handlerif(retval>0){处理IO事件，回调用户的IO event handler}}}这里select(2)/poll(2)有伸缩性方面的不足（描述符过多时，效率较低），Linux下可替换为epoll(4)，其他操作系统也有对应的高性能替代品。Reactor模型的优点很明显，编程不难，效率也不错。不仅可以用于读写socket，连接的建立(connect(2)/accept(2))，甚至DNS解析都可以用非阻塞方式进行，以提高并发度和吞吐量(throughput)，对于IO密集的应用是个不错的选择。lighttpd就是这样，它内部的fdevent结构十分精妙，值得学习。基于事件驱动的编程模型也有其本质的缺点，它要求事件回调函数必须是非阻塞的。对于涉及网络IO的请求响应式协议，它容易割裂业务逻辑，使其散布于多个回调函数之中，相对不容易理解和维护。三：多线程服务器的常用编程模型大概有这么几种：a：每个请求创建一个线程，使用阻塞式IO操作。在Java 1.4引人NIO之前，这是Java网络编程的推荐做法。可惜伸缩性不佳（请求太多时，操作系统创建不了这许多线程）。b：使用线程池，同样使用阻塞式IO操作。与第1种相比，这是提高性能的措施。c：使用non-blocking IO + IO multiplexing。即Java NIO的方式。d：Leader/Follower等高级模式。在默认情况下，我会使用第3种，即non-blocking IO + one loop per thread模式来编写多线程C++网络服务程序。1：one loop per thread此种模型下，程序里的每个IO线程有一个eventloop，用于处理读写和定时事件（无论周期性的还是单次的）。代码框架跟“单线程服务器的常用编程模型”一节中的一样。libev的作者说：One loop per thread is usually a good model. Doing this is almost never wrong, some times a better-performance model exists, but it is always a good start.这种方式的好处是：a：线程数目基本固定，可以在程序启动的时候设置，不会频繁创建与销毁。b：可以很方便地在线程间调配负载。c：IO事件发生的线程是固定的，同一个TCP连接不必考虑事件并发。Event loop代表了线程的主循环，需要让哪个线程干活，就把timer或IO channel（如TCP连接）注册到哪个线程的loop里即可：对实时性有要求的connection可以单独用一个线程；数据量大的connection可以独占一个线程，并把数据处理任务分摊到另几个计算线程中（用线程池）；其他次要的辅助性connections可以共享一个线程。比如，在dbproxy中，一个线程用于专门处理客户端发来的管理命令；一个线程用于处理客户端发来的MySQL命令，而与后端数据库通信执行该命令时，是将该任务分配给所有事件线程处理的。对于non-trivial（有一定规模）的服务端程序，一般会采用non-blocking IO + IO multiplexing，每个connection/acceptor都会注册到某个event loop上，程序里有多个event loop，每个线程至多有一个event loop。多线程程序对event loop提出了更高的要求，那就是“线程安全”。要允许一个线程往别的线程的loop里塞东西，这个loop必须得是线程安全的。在dbproxy中，线程向其他线程分发任务，是通过管道和队列实现的。比如主线程accept到连接后，将表示该连接的结构放入队列，并向管道中写入一个字节。计算线程在自己的event loop中注册管道的读事件，一旦有数据可读，就尝试从队列中取任务。2：线程池不过，对于没有IO而光有计算任务的线程，使用event loop有点浪费。可以使用一种补充方案，即用blockingqueue实现的任务队列：[cpp] view plain copytypedef boost::functionFunctor;BlockingQueue taskQueue; //线程安全的全局阻塞队列//计算线程void workerThread(){while (running) //running变量是个全局标志{Functor task = taskQueue.take();//this blockstask(); //在产品代码中需要考虑异常处理}}// 创建容量（并发数）为N的线程池int N = num_of_computing_threads;for (int i = 0; i < N; ++i){create_thread(&workerThread); //启动线程}//向任务队列中追加任务Foo foo;//Foo有calc()成员函数boost::function task = boost::bind(&Foo::calc，&foo);taskQueue.post(task);除了任务队列，还可以用BlockingQueue实现数据的生产者消费者队列，即T是数据类型而非函数对象，queue的消费者从中拿到数据进行处理。其实本质上是一样的。3：总结总结而言，我推荐的C++多线程服务端编程模式为：one (event) loop per thread + thread pool：eventloop用作IO multiplexing，配合non-blockingIO和定时器；threadpool用来做计算，具体可以是任务队列或生产者消费者队列。以这种方式写服务器程序，需要一个优质的基于Reactor模式的网络库来支撑，muduo正是这样的网络库。比如dbproxy使用的是libevent。程序里具体用几个loop、线程池的大小等参数需要根据应用来设定，基本的原则是“阻抗匹配”（解释见下），使得CPU和IO都能高效地运作。所谓阻抗匹配原则：如果池中线程在执行任务时，密集计算所占的时间比重为 P (0 < P <= 1)，而系统一共有 C 个 CPU，为了让这 C 个 CPU 跑满而又不过载，线程池大小的经验公式 T = C/P。（T 是个 hint，考虑到 P 值的估计不是很准确，T 的最佳值可以上下浮动 50%）以后我再讲这个经验公式是怎么来的，先验证边界条件的正确性。假设 C = 8，P = 1.0，线程池的任务完全是密集计算，那么T = 8。只要 8 个活动线程就能让 8 个 CPU 饱和，再多也没用，因为 CPU 资源已经耗光了。假设 C = 8，P = 0.5，线程池的任务有一半是计算，有一半等在 IO 上，那么T = 16。考虑操作系统能灵活合理地调度 sleeping/writing/running 线程，那么大概 16 个“50%繁忙的线程”能让 8 个 CPU 忙个不停。启动更多的线程并不能提高吞吐量，反而因为增加上下文切换的开销而降低性能。如果 P < 0.2，这个公式就不适用了，T 可以取一个固定值，比如 5*C。另外，公式里的 C 不一定是 CPU 总数，可以是“分配给这项任务的 CPU 数目”，比如在 8 核机器上分出 4 个核来做一项任务，那么 C=4。四：进程间通信只用TCPLinux下进程间通信的方式有：匿名管道(pipe)、具名管道(FIFO)、POSIX消息队列、共享内存、信号(signals)，以及Socket。同步原语有互斥器(mutex)、条件变量(condition variable)、读写锁(reader-writer lock)、文件锁(record locking)、信号量(semaphore)等等。进程间通信我首选Sockets（主要指TCP，我没有用过UDP，也不考虑Unix domain协议）。其好处在于：可以跨主机，具有伸缩性。反正都是多进程了，如果一台机器的处理能力不够，很自然地就能用多台机器来处理。把进程分散到同一局域网的多台机器上，程序改改host:port配置就能继续用；TCP sockets和pipe都是操作文件描述符，用来收发字节流，都可以read/write/fcntl/select/poll等。不同的是，TCP是双向的，Linux的pipe是单向的，进程间双向通信还得开两个文件描述符，不方便；而且进程要有父子关系才能用pipe，这些都限制了pipe的使用；TCP port由一个进程独占，且进程退出时操作系统会自动回收文件描述符。因此即使程序意外退出，也不会给系统留下垃圾，程序重启之后能比较容易地恢复，而不需要重启操作系统（用跨进程的mutex就有这个风险）；而且，port是独占的，可以防止程序重复启动，后面那个进程抢不到port，自然就没法初始化了，避免造成意料之外的结果；与其他IPC相比，TCP协议的一个天生的好处是“可记录、可重现”。tcpdump和Wireshark是解决两个进程间协议和状态争端的好帮手，也是性能（吞吐量、延迟）分析的利器。我们可以借此编写分布式程序的自动化回归测试。也可以用tcpcopy之类的工具进行压力测试。TCP还能跨语言，服务端和客户端不必使用同一种语言。分布式系统的软件设计和功能划分一般应该以“进程”为单位。从宏观上看，一个分布式系统是由运行在多台机器上的多个进程组成的，进程之间采用TCP长连接通信。使用TCP长连接的好处有两点：一是容易定位分布式系统中的服务之间的依赖关系。只要在机器上运行netstat-tpna|grep就能立刻列出用到某服务的客户端地址（Foreign Address列），然后在客户端的机器上用netstat或lsof命令找出是哪个进程发起的连接。TCP短连接和UDP则不具备这一特性。二是通过接收和发送队列的长度也较容易定位网络或程序故障。在正常运行的时候，netstat打印的Recv-Q和Send-Q都应该接近0，或者在0附近摆动。如果Recv-Q保持不变或持续增加，则通常意味着服务进程的处理速度变慢，可能发生了死锁或阻塞。如果Send-Q保持不变或持续增加，有可能是对方服务器太忙、来不及处理，也有可能是网络中间某个路由器或交换机故障造成丢包，甚至对方服务器掉线，这些因素都可能表现为数据发送不出去。通过持续监控Recv-Q和Send-Q就能及早预警性能或可用性故障。以下是服务端线程阻塞造成Recv-Q和客户端Send-Q激增的例子：[cpp] view plain copy$netstat -tnProtoRecv-QSend-QLocal AddressForeigntcp 78393 010.0.0.10:2000 10.0.0.10:39748 #服务端连接tcp 013260810.0.0.10:3974810.0.0.10:2000#客户端连接tcp 05210.0.0.10:22 10.0.0.4:55572五：多线程服务器的适用场合如果要在一台多核机器上提供一种服务或执行一个任务，可用的模式有：a：运行一个单线程的进程；b：运行一个多线程的进程；c：运行多个单线程的进程；d：运行多个多线程的进程；考虑这样的场景：如果使用速率为50MB/s的数据压缩库，进程创建销毁的开销是800微秒，线程创建销毁的开销是50微秒。如何执行压缩任务？如果要偶尔压缩1GB的文本文件，预计运行时间是20s，那么起一个进程去做是合理的，因为进程启动和销毁的开销远远小于实际任务的耗时。如果要经常压缩500kB的文本数据，预计运行时间是10ms，那么每次都起进程似乎有点浪费了，可以每次单独起一个线程去做。如果要频繁压缩10kB的文本数据，预计运行时间是200微秒，那么每次起线程似乎也很浪费，不如直接在当前线程搞定。也可以用一个线程池，每次把压缩任务交给线程池，避免阻塞当前线程（特别要避免阻塞IO线程）。由此可见，多线程并不是万灵丹(silver bullet)。1：必须使用单线程的场合据我所知，有两种场合必须使用单线程：a：程序可能会fork(2)；实际编程中，应该保证只有单线程程序能进行fork(2)。多线程程序不是不能调用fork(2)，而是这么做会遇到很多麻烦：fork一般不能在多线程程序中调用，因为Linux的fork只克隆当前线程的thread of control，不可隆其他线程。fork之后，除了当前线程之外，其他线程都消失了。这就造成一种危险的局面。其他线程可能正好处于临界区之内，持有了某个锁，而它突然死亡，再也没有机会去解锁了。此时如果子进程试图再对同一个mutex加锁，就会立即死锁。因此，fork之后，子进程就相当于处于signal handler之中（因为不知道调用fork时，父进程中的线程此时正在调用什么函数，这和信号发生时的场景一样），你不能调用线程安全的函数（除非它是可重入的），而只能调用异步信号安全的函数。比如，fork之后，子进程不能调用：malloc，因为malloc在访问全局状态时几乎肯定会加锁；任何可能分配或释放内存的函数，比如snprintf；任何Pthreads函数；printf系列函数，因为其他线程可能恰好持有stdout/stderr的锁；除了man 7 signal中明确列出的信号安全函数之外的任何函数。因此，多线程中调用fork，唯一安全的做法是fork之后，立即调用exec执行另一个程序，彻底隔断子进程与父进程的联系。在多线程环境中调用fork，产生子进程后。子进程内部只存在一个线程，也就是父进程中调用fork的线程的副本。使用fork创建子进程时，子进程通过继承整个地址空间的副本，也从父进程那里继承了所有互斥量、读写锁和条件变量的状态。如果父进程中的某个线程占有锁，则子进程同样占有这些锁。问题是子进程并不包含占有锁的线程的副本，所以子进程没有办法知道它占有了哪些锁，并且需要释放哪些锁。尽管Pthread提供了pthread_atfork函数试图绕过这样的问题，但是这回使得代码变得混乱。因此《Programming With Posix Threads》一书的作者说：”Avoid using fork in threaded code except where the child process will immediately exec a new program.”。b：限制程序的CPU占用率；这个很容易理解，比如在一个8核的服务器上，一个单线程程序即便发生busy-wait，占满1个core，其CPU使用率也只有12.5%，在这种最坏的情况下，系统还是有87.5%的计算资源可供其他服务进程使用。 因此对于一些辅助性的程序，如果它必须和主要服务进程运行在同一台机器的话，那么做成单线程的能避免过分抢夺系统的计算资源。

如果你是一个Linux爱好者，想选择一个桌面系统，并且既不想用盗版，又不想花太多钱购买商业系统软件，那么可以选择Ubuntu桌面系统。 如果你需要服务器端的Linux系统，想用一个比较稳定的服务器系统，或者说目标就是进入企业从事Linux运维工作，那么建议你选择CentOS或Red Hat。在这两者当中又应首选CentOS，因为目前市场的趋势是这样的，CentOS社区非常活跃，CentOS是当前国内互联网企业服务器端实际应用比较多的系统。如果对系统稳定性、安全性有更高的要求，或者是特殊使用偏好的用户，可以考虑Debian或FreeBSD。 如果特别痴迷于新技术体验和追求新的软件版本，可以选择Fedora，但要容忍Fedora潜在的新技术软件的Bug和系统稳定性的问题。
1、centos7作为服务器，用来搭建tomcat、nginx、mysql等 2、Ubuntu用来作为开发的系统。用来搭建idea等开发工具。

在Linux Socket服务器短编程时，为了处理大量客户的连接请求，需要使用非阻塞I/O和复用，select、poll 和epoll是Linux API提供的I/O复用方式，自从Linux 2.6中加入了epoll之后，在高性能服务器领域得到广泛的应用，现在比较出名的nginx就是使用epoll来实现I/O复用支持高并发，目前在高并 发的场景下，nginx越来越收到欢迎。select:下面是select的函数接口：[cpp] view plain copyint select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);select 函数监视的文件描述符分3类，分别是writefds、readfds、和exceptfds。调用后select函数会阻塞，直到有描述副就绪（有数据 可读、可写、或者有except），或者超时（timeout指定等待时间，如果立即返回设为null即可），函数返回。当select函数返回后，可以 通过遍历fdset，来找到就绪的描述符。select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点。select的一 个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，可以通过修改宏定义甚至重新编译内核的方式提升这一限制，但 是这样也会造成效率的降低。poll：[cpp] view plain copyint poll (struct pollfd *fds, unsigned int nfds, int timeout);不同与select使用三个位图来表示三个fdset的方式，poll使用一个 pollfd的指针实现。[cpp] view plain copystruct pollfd {int fd; /* file descriptor */short events; /* requested events to watch */short revents; /* returned events witnessed */};pollfd结构包含了要监视的event和发生的event，不再使用select“参数-值”传递的方式。同时，pollfd并没有最大数量限制（但是数量过大后性能也是会下降）。 和select函数一样，poll返回后，需要轮询pollfd来获取就绪的描述符。从上面看，select和poll都需要在返回后，通过遍历文件描述符来获取已经就绪的socket。事实上，同时连接的大量客户端在一时刻可能只有很少的处于就绪状态，因此随着监视的描述符数量的增长，其效率也会线性下降。epoll:epoll的接口如下：[cpp] view plain copyint epoll_create(int size)；int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；typedef union epoll_data {void *ptr;int fd;__uint32_t u32;__uint64_t u64;} epoll_data_t;struct epoll_event {__uint32_t events;/* Epoll events */epoll_data_t data;/* User data variable */};int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);主要是epoll_create,epoll_ctl和epoll_wait三个函数。epoll_create函数创建epoll文件描述符，参数size并'不是限制了epoll所能监听的描述符最大个数，只是对内核初始分配内部数据结构的一个建议。返回是epoll描述符。-1表示创建失败。epoll_ctl 控制对指定描述符fd执行op操作，event是与fd关联的监听事件。op操作有三种：添加EPOLL_CTL_ADD，删除EPOLL_CTL_DEL，修改EPOLL_CTL_MOD。分别添加、删除和修改对fd的监听事件。epoll_wait 等待epfd上的io事件，最多返回maxevents个事件。在 select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一 个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait() 时便得到通知。epoll的优点主要是一下几个方面：1. 监视的描述符数量不受限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左 右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。select的最大缺点就是进程打开的fd是有数量限制的。这对 于连接数量比较大的服务器来说根本不能满足。虽然也可以选择多进程的解决方案( Apache就是这样实现的)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也 不是一种完美的方案。2. IO的效率不会随着监视fd的数量的增长而下降。epoll不同于select和poll轮询的方式，而是通过每个fd定义的回调函数来实现的。只有就绪的fd才会执行回调函数。3.支持电平触发和边沿触发（只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，如果我们没有采取行动，那么它将不会再次告知，这种方式称为边缘触发）两种方式，理论上边缘触发的性能要更高一些，但是代码实现相当复杂。 4.mmap加速内核与用户空间的信息传递。epoll是通过内核于用户空间mmap同一块内存，避免了无畏的内存拷贝。
随着2.6内核对epoll的完全支持，网络上很多的文章和示例代码都提供了这样一个信息：使用epoll代替传统的poll能给网络服务应用带来性能上的提升。但大多文章里关于性能提升的原因解释的较少，这里我将试分析一下内核（2.6.21.1）代码中poll与epoll的工作原理，然后再通过一些测试数据来对比具体效果。 POLL：先说poll，poll或select为大部分Unix/Linux程序员所熟悉，这俩个东西原理类似，性能上也不存在明显差异，但select对所监控的文件描述符数量有限制，所以这里选用poll做说明。poll是一个系统调用，其内核入口函数为sys_poll，sys_poll几乎不做任何处理直接调用do_sys_poll，do_sys_poll的执行过程可以分为三个部分：1，将用户传入的pollfd数组拷贝到内核空间，因为拷贝操作和数组长度相关，时间上这是一个O（n）操作，这一步的代码在do_sys_poll中包括从函数开始到调用do_poll前的部分。2，查询每个文件描述符对应设备的状态，如果该设备尚未就绪，则在该设备的等待队列中加入一项并继续查询下一设备的状态。查询完所有设备后如果没有一个设备就绪，这时则需要挂起当前进程等待，直到设备就绪或者超时，挂起操作是通过调用schedule_timeout执行的。设备就绪后进程被通知继续运行，这时再次遍历所有设备，以查找就绪设备。这一步因为两次遍历所有设备，时间复杂度也是O（n），这里面不包括等待时间。相关代码在do_poll函数中。3，将获得的数据传送到用户空间并执行释放内存和剥离等待队列等善后工作，向用户空间拷贝数据与剥离等待队列等操作的的时间复杂度同样是O（n），具体代码包括do_sys_poll函数中调用do_poll后到结束的部分。EPOLL：接下来分析epoll，与poll/select不同，epoll不再是一个单独的系统调用，而是由epoll_create/epoll_ctl/epoll_wait三个系统调用组成，后面将会看到这样做的好处。先来看sys_epoll_create(epoll_create对应的内核函数），这个函数主要是做一些准备工作，比如创建数据结构，初始化数据并最终返回一个文件描述符（表示新创建的虚拟epoll文件），这个操作可以认为是一个固定时间的操作。epoll是做为一个虚拟文件系统来实现的，这样做至少有以下两个好处：1，可以在内核里维护一些信息，这些信息在多次epoll_wait间是保持的，比如所有受监控的文件描述符。2， epoll本身也可以被poll/epoll;具体epoll的虚拟文件系统的实现和性能分析无关，不再赘述。在sys_epoll_create中还能看到一个细节，就是epoll_create的参数size在现阶段是没有意义的，只要大于零就行。接着是sys_epoll_ctl(epoll_ctl对应的内核函数），需要明确的是每次调用sys_epoll_ctl只处理一个文件描述符，这里主要描述当op为EPOLL_CTL_ADD时的执行过程，sys_epoll_ctl做一些安全性检查后进入ep_insert，ep_insert里将 ep_poll_callback做为回掉函数加入设备的等待队列（假定这时设备尚未就绪），由于每次poll_ctl只操作一个文件描述符，因此也可以认为这是一个O(1)操作ep_poll_callback函数很关键，它在所等待的设备就绪后被系统回掉，执行两个操作：1，将就绪设备加入就绪队列，这一步避免了像poll那样在设备就绪后再次轮询所有设备找就绪者，降低了时间复杂度，由O（n）到O（1）;2，唤醒虚拟的epoll文件;最后是sys_epoll_wait，这里实际执行操作的是ep_poll函数。该函数等待将进程自身插入虚拟epoll文件的等待队列，直到被唤醒（见上面ep_poll_callback函数描述），最后执行ep_events_transfer将结果拷贝到用户空间。由于只拷贝就绪设备信息，所以这里的拷贝是一个O(1）操作。还有一个让人关心的问题就是epoll对EPOLLET的处理，即边沿触发的处理，粗略看代码就是把一部分水平触发模式下内核做的工作交给用户来处理，直觉上不会对性能有太大影响，感兴趣的朋友欢迎讨论。POLL/EPOLL对比：表面上poll的过程可以看作是由一次epoll_create/若干次epoll_ctl/一次epoll_wait/一次close等系统调用构成，实际上epoll将poll分成若干部分实现的原因正是因为服务器软件中使用poll的特点（比如Web服务器）：1，需要同时poll大量文件描述符;2，每次poll完成后就绪的文件描述符只占所有被poll的描述符的很少一部分。 3，前后多次poll调用对文件描述符数组（ufds）的修改只是很小;

《Linux高性能服务器编程》（游双）电子书网盘下载免费在线阅读资源链接：链接：https://pan.baidu.com/s/1yc7SJ6UluWS11Q6YOaPUAw提取码：pbox书名：Linux高性能服务器编程作者：游双豆瓣评分：7.9出版社：机械工业出版社出版年份：2013-5-1页数：360内容简介：本书是Linux服务器编程领域的经典著作，由资深Linux软件开发工程师撰写，从网络协议、服务器编程核心要素、原理机制、工具框架等多角度全面阐释了编写高性能Linux服务器应用的方法、技巧和思想。不仅理论全面、深入，抓住了重点和难点，还包含两个综合性案例，极具实战意义。全书共17章，分为3个部分：第一部分对Linux服务器编程的核心基础——TCP/IP协议进行了深入的解读和阐述，包括TCP/IP协议族、TCP/IP协议，以及一个经典的TCP/IP通信案例；第二部分对高性能服务器编程的核心要素进行了全面深入的剖析，包含Linux网络编程API、高级I/O函数、Linux服务器程序规范、高性能服务器程序框架、I/O复用、信号、定时器、高性能I/O框架库Libevent、多进程编程、多线程编程、进程池和线程池等内容，原理、技术与方法并重；第三部分从侧重实战的角度讲解了高性能服务器的优化与监测，包含服务器的调制、调试和测试，以及各种实用系统监测工具的使用等内容。作者简介：游双，资深Linux软件开发工程师，对Linux网络编程，尤其是服务器端的编程，有非常深入的研究，实战经验也十分丰富。曾就职于摩托罗拉，担任高级Linux软件工程师。此外，他还精通C++、Android、QT等相关的技术。活跃于Chinaunix等专业技术社区，发表了大量关于Linux网络编程的文章，深受社区欢迎。

许多同学触摸Linux不多，对Linux渠道的开发更是一窍不通。而如今的趋势越来越标明，作为一个优秀的软件开发人员，或计算机IT职业从业人员，把握Linux是一种很主要的营生资本与手法。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习方法与学习中应该注意的一些事。就如同刚才说的，很多同学以前可能连Linux是什么都不知道，对UNIX更是一无所知。所以我们从最基础的讲起，对于Linux及UNIX的历史我们不做多谈，直接进入入门的学习。Linux入门是很简单的，问题是你是否有耐心，是否爱折腾，是否不排斥重装一类的大修。没折腾可以说是学不好Linux的，鸟哥说过，要真正了解Linux的分区机制，对LVM使用相当熟练，没有20次以上的Linux装机经验是积累不起来的，所以一定不要怕折腾。由于大家之前都使用Windows，所以我也尽可能照顾这些“菜鸟”。我的推荐，如果你第一次接触Linux，那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box，我并不主张使用VM，原因是VM是闭源的，并且是收费的，我不希望推动盗版。当然如果你的Money足够多，可以尝试VM，但我要说的是即使是VM，不一定就一定好。付费的软件不一定好。首先，Virtual Box很小巧，Windows平台下安装包在80MB左右，而VM动辄600MB，虽然功能强大，但资源消耗也多，何况你的需求Virtual Box完全能够满足。所以，还是自己选。如何使用虚拟机，是你的事，这个我不教你，因为很简单，不会的话Google或Baidu都可以，英文好的可以直接看官方文档。现在介绍Linux发行版的知识。正如你所见，Linux发行版并非Linux，Linux仅是指操作系统的内核，作为科班出生的你不要让我解释，我也没时间。我推荐的发行版如下：UBUNTU 适合纯菜鸟，追求稳定的官方支持，对系统稳定性要求较弱，喜欢最新应用，相对来说不太喜欢折腾的开发者。Debian，相对UBUNTU难很多的发行版，突出特点是稳定与容易使用的包管理系统，缺点是企业支持不足，为社区开发驱动。Arch，追逐时尚的开发者的首选，优点是包更新相当快，无缝升级，一次安装基本可以一直运作下去，没有如UBUNTU那样的版本概念，说的专业点叫滚动升级，保持你的系统一定是最新的。缺点显然易见，不稳定。同时安装配置相对Debian再麻烦点。Gentoo，相对Arch再难点，考验使用者的综合水平，从系统安装到微调，内核编译都亲历亲为，是高手及黑客显示自己技术手段，按需配置符合自己要求的系统的首选。Slackware与Gentoo类似。CentOS，社区维护的RedHat的复刻版本，完全使用RedHat的源码重新编译生成，与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器，如网络管理，架站，那么CentOS是你的选择。LFS，终极黑客显摆工具，完全从源代码安装，编译系统。安装前你得到的只有一份文档，你要做的就是照文档你的说明，一步步，一条条命令，一个个软件包的去构建你的Linux，完全由你自己控制，想要什么就是什么。如果你做出了LFS，证明你的Linux功底已经相当不错，如果你能拿LFS文档活学活用，再将Linux从源代码开始移植到嵌入式系统，我敢说中国的企业你可以混的很好。1、Linux基础你得挑一个适合你的系统，然后在虚拟机安装它，开始使用它。如果你想快速学会Linux，我有一个建议就是忘记图形界面，不要想图形界面能不能提供你问题的答案，而是满世界的去找，去问，如何用命令行解决你的问题。在这个过程中，你最好能将Linux的命令掌握的不错，起码常用的命令得知道，同时建立了自己的知识库，里面是你积累的各项知识。2、Linux平台的C/C++开发，同时还有Bash脚本编程[JAVA]再下个阶段，你需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。同样，建议你抛弃掉图形界面的IDE，从VIM开始，为什么是VIM，而不是Emacs，我无意挑起编辑器大战，但我觉得VIM适合初学者，适合手比较笨，脑袋比较慢的开发者。 Emacs的键位太多，太复杂，我很畏惧。然后是GCC，Make，Eclipse（Java，C++或者）。虽然将C++列在了Eclipse中，但我并不推荐用IDE开发C++，因为这不是Linux的文化，容易让你忽略一些你应该注意的问题。 IDE让你变懒，懒得跟猪一样。如果你对程序调试，测试工作很感兴趣，GDB也得学的很好，如果不是GDB也是必修课。这是开发的第一步，注意我并没有提过一句Linux系统API的内容，这个阶段也不要关心这个。你要做的就是积累经验，在Linux平台的开发经验。我推荐的书如下：C语言程序设计。 C语言，白皮书当然更好。 C++推荐 C++ Primer Plus， Java我不喜欢，就不推荐了，附一个别人的书单：java 入门书籍。工具方面推荐VIM的官方手册，GCC中文文档，GDB中文文档，GNU开源软件开发指导（电子书），汇编语言程序设计（让你对库，链接，内嵌汇编，编译器优化选项有初步了解，不必深度）。如果你这个阶段过不了就不必往下做了，这是底线，最基础的基础，否则离开，不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的，程序是走不远的，不可能像Bash，VIM这些神品一样。所以做不好干脆离开。3、UNIX环境高级编程UNIX环境高级编程堪称神作，经典中的经典。接下来进入Linux系统编程，不二选择，APUE，UNIX环境高级编程，一遍一遍的看，看10遍都嫌少，如果你可以在大学将这本书翻烂，里面的内容都实践过，有作品，你口头表达能力够强，你可以在面试时说服所有的考官。（可能有点夸张，但APUE绝对是圣经一般的读物，即使是Windows程序员也从其中汲取养分， Google创始人的案头书籍，扎尔伯克的床头读物。）这本书看完后你会对Linux系统编程有相当的了解，知道Linux与Windows平台间开发的差异在哪？它们的优缺点在哪？我的总结如下：做Windows平台开发，很苦，微软的系统API总在扩容，想使用最新潮，最高效的功能，最适合当前流行系统的功能你必须时刻学习。 Linux不是，Linux系统的核心API就100来个，记忆力好完全可以背下来。而且经久不变，为什么不变，因为要同UNIX兼容，符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点，当然图形是Linux的软肋，但我站在一个开发者的角度，我无所谓，因为命令行我也可以适应，如果有更好的图形界面我就当作恩赐吧。另外，Windows闭源，系统做了什么你更本不知道，永远被微软牵着鼻子跑，想想如果微软说Win8不支持QQ，那腾讯不得哭死。而Linux完全开源，你不喜欢，可以自己改，只要你技术够。另外，Windows虽然使用的人多，但使用场合单一，专注与桌面。而Linux在各个方面都有发展，尤其在云计算，服务器软件，嵌入式领域，企业级应用上有广大前景，而且兼容性一流，由于支持POSIX可以无缝的运行在UNIX系统之上，不管是苹果的Mac还是IBM的AS400系列，都是完全支持的。另外，Linux的开发环境支持也绝对是一流的，不管是C/C++，Java，Bash，Python，PHP，Javascript，。。。。。。就连C#也支持。而微软除Visual Stdio套件以外，都不怎么友好，不是吗？如果你看完APUE的感触有很多，希望验证你的某些想法或经验，推荐UNIX程序设计艺术，世界顶级黑客将同你分享他的看法。4、选择方向：网络，图形，嵌入式，设备驱动网络方向：服务器软件编写及高性能的并发程序编写现在是时候做分流了。大体上我分为四个方向：网络，图形，嵌入式，设备驱动。如果选择网络，再细分，我对其他的不是他熟悉，只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的，也是底层的。需要很多的经验，看很多的书，做很多的项目。我的看法是以下面的顺序来看书：APUE再深读– 尤其是进程，线程，IPC，套接字多核程序设计- Pthread一定得吃透了，你很NBUNIX网络编程– 卷一，卷二TCP/IP网络详解– 卷一再看上面两本书时就该看了5.TCP/IP 网络详解– 卷二我觉得看到卷二就差不多了，当然卷三看了更好，努力，争取看了6.Lighttpd源代码- 这个服务器也很有名了7.Nginx源代码– 相较于Apache，Nginx的源码较少，如果能看个大致，很NB。看源代码主要是要学习里面的套接字编程及并发控制，想想都激动。如果你有这些本事，可以试着往暴雪投简历，为他们写服务器后台，想一想全球的魔兽都运行在你的服务器软件上。Linux内核 TCP/IP协议栈– 深入了解TCP/IP的实现如果你还喜欢驱动程序设计，可以看看更底层的协议，如链路层的，写什么路由器，网卡，网络设备的驱动及嵌入式系统软件应该也不成问题了。当然一般的网络公司，就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验，所以35岁以前办到吧！跳槽到给你未来的地方！图形方向，我觉得图形方向也是很有前途的，以下几个方面。Opengl的工业及游戏开发，国外较成熟。影视动画特效，如皮克斯，也是国外较成熟。GPU计算技术，可以应用在浏览器网页渲染上，GPU计算资源利用上，由于开源的原因，有很多的文档程序可以参考。如果能进火狐开发，或google做浏览器开发，应该会很好。嵌入式方向：嵌入式方向没说的，Linux很重要。掌握多个架构，不仅X86的，ARM的，单片机什么的也必须得懂。硬件不懂我预见你会死在半路上，我也想走嵌入式方向，但我觉得就学校教授嵌入式的方法，我连学电子的那帮学生都竞争不过。奉劝大家，一定得懂硬件再去做，如果走到嵌入式应用开发，只能祝你好运，不要碰上像Nokia，Hp这样的公司，否则你会很惨的。驱动程序设计：软件开发周期是很长的，硬件不同，很快。每个月诞生那么多的新硬件，怎么让他们在Linux上作业起来，这是你的作业。由于Linux的兼容性极好，假如不是太低层的驱动，根本C言语就能够搞定，体系架构的影响不大，由于有体系支撑，你可能做少许更改就能够在ARM上运用PC的硬件了，所以做硬件驱动开发不像嵌入式，对硬件常识的请求很高。能够娴熟的建立常见的效劳，lnmp,ftp,dns,smba，假如呈现毛病，能够及时的排除去。。。常常运用Linux，必定能够变成大神。原文链接：http://www.magedu.com/71706.html
本系列教程将完整的讲解整个Linux相关的知识，这是楼主学完之后重新对Linux知识体系的整理。从最基础的知识开始，对于一个完全不懂Linux系统的人，相信在看完整个系列教程之后，都能对Linux有一个完完全全的了解。那么废话不多说，本篇博客作为整个教程的第一讲，我们就先来对Linux有个简单的整体介绍。1、Unix可能大家首先看到Unix会有点奇怪，我们要讲的不是Linux吗？怎么蹦出个Unix，虽然它和Linux长得有点像。因为它们确实有很深的渊源！Unix 是在1969年美国贝尔实验室的肯.汤普森开发出来的一款操作系统，什么是操作系统？大家正在玩的 Windows 和 Max OS就是两个操作系统。操作系统是用户和计算机的接口，同时也是计算机硬件和应用程序的接口，也就是说我们和计算机打交道以及计算机底层硬件和应用程序打交道都是通过操作系统。如下所示：而我们所说的Unix也是一个操作系统，其源代码大部分都是用C语言写的。它是一个强大的多用户、多任务操作系统，而且支持多种处理器架构。在1984年，Unix用户协会颁发了使用标准。后来IEEE为此制定了POSIX标准（即IEEE1003标准）国际标准名称为ISO/IEC9945，它通过一组最小的功能定义了在UNIX操作系统和应用程序之间兼容的语言接口。这个标准很重要，后面很多系统的开发都是遵循这个标准来的。虽然Unix系统这么好用，但是很不幸，它是一个对源代码实行知识产权保护的传统商业软件，也就是说Unix系统源代码不开源，而且Unix系统也是一个收费软件。这也直接导致了Linux系统的诞生。2、LinuxUNIX 最初免费发布，在1990年，UNIX 在服务器市场尤其是大学校园成为主流操作系统，许多校园都有 UNIX 主机，当然还包括一些研究它的计算机系的学生。这些学生都渴望能在自己的电脑上运行 UNIX 。不幸的是，从那时候开始，UNIX 开始变得商业化，它的价格也变得非常昂贵。而唯一低廉的选择就是 MINIX ,这是一个功能有限的类似 UNIX 的操作系统，作者 Andrew Tanebaum 开发它的目的是用于教学。1991年 10月，Linus Torvalds（Linux 之父）在赫尔辛基大学接触 UNIX ,他希望能在自己的电脑上运行一个类似的操作系统。可是 UNIX 的商业版本非常昂贵，于是他从 MINIX 开始入手，而 Linus Torvalds 对Minix不是很满意，于是决定自己编写软件。他以学生时代熟悉的Unix作为原型，在一台Intel 386 PC上开始了他的工作。他的进展很快，受工作成绩的鼓舞，他将这项成果通过互连网与其他同学共享，主要用于学术领域。他第一次发行的版本很快吸引了一些黑客。尽管最初的 Linux 并没有多少用处，但由于一些黑客的加入使它很快就具有了许多吸引人的特性，甚至一些对操作系统开发不感兴趣的人也开始关注它。每当出现新问题时，有人会立刻找到解决办法并加入其中，很快的， Linux成为了一个操作系统。值得注意的是Linux并没有包括Unix源码，它是按照公开的POSIX标准重新编写的。Linux大量使用了由麻省剑桥免费软件基金的GNU软件，同时Linux自身也是用它们构造而成。3、Unix和Linux的区别Linux和UNIX的最大的区别是，前者是开放源代码的自由软件，而后者是对源代码实行知识产权保护的传统商业软件。这应该是他们最大的不同，这种不同体现在用户对前者有很高的自主权，而对后者却只能去被动的适应；这种不同还表现在前者的开发是处在一个完全开放的环境之中,而后者的开发完全是处在一个黑箱之中,只有相关的开发人员才能够接触的产品的原型。具体区别如下：①、UNIX系统大多是与硬件配套的，而Linux则可运行在多种硬件平台上.②、UNIX是商业软件，收费，而Linux是自由软件，免费、公开源代码的.③、Linux商业化的有RedHat Linux 、SuSe Linux、slakeware Linux、国内的红旗等，还有Turbo Linux.④、Unix主要有Sun 的Solaris、IBM的AIX,　HP的HP-UX，以及x86平台的的SCO Unix/Unixware.4、总结本篇博客我们对Linux系统有个简单的了解，大家过一眼就行了。下一篇博客我们将讲解如何安装Linux系统。PS:这篇文章原文是本人原创博客：http://www.cnblogs.com/ysocean/p/.html，欢迎大家观看！！！
计划用三篇文章让大家从入门linux到精通，今天介绍第一篇。任何成果都是勤奋换来的，认真学习了三篇文章，linux就算入门，勤加练习，基本的运维可以做到，工作当中不会遇到太大的麻烦linux的版本2 Linux特殊符号介绍（一）3常用Linux命令介绍（一）
如今，随着互联网的快速发展，像百度、阿里巴巴、京东、美团、饿了么、腾讯等一大批互联网企业需要信息安全工程师，几乎所有企业中都需要信息安全工程师管理公司的网络、服务器、电脑设备等，目前网络运维工程师的需求缺口特别大。对于linux运维工程师来说，大多的相关知识在我们生活中是不易学到的，尤其是对于刚刚毕业的大学生而言，这些都是大学里面没有的课程，所以大家就看向培训机构了。因为在linux运维培训中，会学到更多的知识，真因为如此大家就对好的linux运维培训在哪儿?这个问题比较感兴趣了，下面就带大家看看我们该如何选择一个好的linux运维培训机构?好的linux运维培训机构在哪儿?这些的相关问题。凌阳教育是全国唯一“原厂嵌入式培训”机构，拥有完全自主知识产权“嵌入式\网络运维、HTML5、Java、PHP”实训体系。通过在凌阳教育的培训，使学员具备“专业化的职业素质，职业化的专业素质”。能通过四个月时长的学习、实操，让学生掌握Windows、Linux 系统使用与管理，熟悉网络拓扑结构，掌握企业网络组建，企业服务器管理，数据库管理等技能能够构建完整的各类大中型底层网络，应用微软、Ubuntu等操作系统建立WEB、邮件、域名等各种服务器，能够保证网络的安全，无论是基于硬件的安全还是基于系统的安全。能维护大型企业信息系统的整体安全性，对设备、系统、用户行为和不可预期的安全威胁进行防御和审计。课程目标：1每个学员经培训后都具备独立解决问题的能力和方法。2培养良好的语言表达能力，亲和力，沟通能力和团队意识。3熟练掌握window操作系统的安装调试与基本设置。4熟练掌握使用Linux下shell脚本语言。5熟练掌握计算机网络的体系结构和TCP/IP协议的基本知识。6能够独立胜任公司日常的系统维护。7能维护大型企业信息系统的整体安全性。8熟悉网络拓扑结构，掌握企业网络组建，企业服务器管理，数据库管理9能够构建完整的各类大中型底层网络10通过4个月的实战培训让学员能够获得相对的工作经验。