Creating a Package — The Hitchhiker's Guide to Packaging v1.0 documentation -> http://guide.python-distribute.org/creation.html

برای نصب پیکیج های پایتون چند راه وجود دارد.

استفاده از source
کلا اگر پکیج استاندارد باشد یک فایل setup.py است. که با اجرای خط زیر پکیج به pythonpath سیستم می رود.

$ python setup.py install

دقت کنید که حتما sudo er باشید

استفاده از easy_install
برنامه ای به اسم setuptools وجود دارد که از طریق repository سیستم عاملتان می توانید نصبش کنید.

$ apt-get install python-setuptools

حالا شما می خواهید package django را نصب کنید. کافیست در ترمینال تایپ کنید

$ easy_install django
Searching for django
Reading http://pypi.python.org/simple/django/
Reading http://www.djangoproject.com/
Best match: Django 1.3.1
Downloading http://pypi.python.org/packages/source/D/Django/Django-1.3.1.tar.gz#md5=62d8642fd06b9a0bf8544178f8500767
^Cinterrupted

ای وای بر من D: می خواستم ورژن ۱.۲.۵ را نصب کنم خوب چه کنم؟ حالا به easy_install ورژن برنامه ای که می خواهم را نیز می گویم.

$ easy_install django==1.2.5
Searching for django==1.2.5
Reading http://pypi.python.org/simple/django/
Reading http://www.djangoproject.com/
Best match: Django 1.2.5
Downloading http://pypi.python.org/packages/source/D/Django/Django-1.2.5.tar.gz#md5=e031ea3d00996035e49e4bfa86e07c40
Processing Django-1.2.5.tar.gz
Running Django-1.2.5/setup.py -q bdist_egg --dist-dir /tmp/easy_install-JlBUNe/Django-1.2.5/egg-dist-tmp-aNgfJX

به همین سادگی package با همان ورژنی که می خواستم نصب شد.
راهنمای کاملش را در زیر می بینید

EasyInstall - The PEAK Developers' Center -> http://peak.telecommunity.com/DevCenter/EasyInstall

استفاده از pip
یک برنامه دیگر هم هست به اسم pip که به نسبت کامل تر است. برای استفاده برنامه را نصب کنید.

$ apt-get install python-pip

حالا چند مدل دستور دارید

$ pip search babel
Babel                     - Internationalization utilities
  INSTALLED: 0.9.6 (latest)
Flask-Babel               - Adds i18n/l10n support to Flask applications
  INSTALLED: 0.8 (latest)
nibabel                   - Access a multitude of neuroimaging data formats
openbabel-python          - openbabel: Python interface to the Open Babel chemistry library
MakoLang                  - This package adds preprocessor to mako for convenient syntax of gettext strings, and
                            babel extractor to process such templates.
BabelDjango               - Utilities for using Babel in Django
BabelGladeExtractor       - Babel Glade XML files translatable strings extractor
chemfp                    - chemfp is a set of command-lines tools for generating cheminformatics fingerprints and
                            searching those fingerprints by Tanimoto similarity, as well as a Python library which
                            can be used to build new tools.  These algorithms are designed for the dense, 100-10,000
                            bit fingerprints which occur in small-molecule/pharmaceutical chemisty. The Tanimoto
                            search algorithms are implemented in C for performance and support both threshold and
                            k-nearest searches.  Fingerprint generation can be done either by extracting existing
                            fingerprint data from an SD file or by using an existing chemistry toolkit. chemfp
                            supports the Python libraries from Open Babel, OpenEye, and RDKit toolkits.
gpsbabel                  - Python wrapper for GPSBabel project

$ pip install babel
$ pip install SQLAlchemy --upgrade
Downloading/unpacking SQLAlchemy
  Downloading SQLAlchemy-0.7.4.tar.gz (2.5Mb): 2.5Mb downloaded
  Running setup.py egg_info for package SQLAlchemy

    warning: no files found matching '*.jpg' under directory 'doc'
    no previously-included directories found matching 'doc/build/output'
Installing collected packages: SQLAlchemy
  Found existing installation: SQLAlchemy 0.6.8
    Uninstalling SQLAlchemy:
      Successfully uninstalled SQLAlchemy
  Running setup.py install for SQLAlchemy
    building 'sqlalchemy.cprocessors' extension
    gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c lib/sqlalchemy/cextension/processors.c -o build/temp.linux-x86_64-2.7/lib/sqlalchemy/cextension/processors.o
    gcc -pthread -shared -Wl,-O1 -Wl,-Bsymbolic-functions build/temp.linux-x86_64-2.7/lib/sqlalchemy/cextension/processors.o -o build/lib.linux-x86_64-2.7/sqlalchemy/cprocessors.so
    building 'sqlalchemy.cresultproxy' extension
    gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c lib/sqlalchemy/cextension/resultproxy.c -o build/temp.linux-x86_64-2.7/lib/sqlalchemy/cextension/resultproxy.o
    gcc -pthread -shared -Wl,-O1 -Wl,-Bsymbolic-functions build/temp.linux-x86_64-2.7/lib/sqlalchemy/cextension/resultproxy.o -o build/lib.linux-x86_64-2.7/sqlalchemy/cresultproxy.so

    warning: no files found matching '*.jpg' under directory 'doc'
    no previously-included directories found matching 'doc/build/output'
Successfully installed SQLAlchemy
Cleaning up...

$ pip uninstall simplejson
Uninstalling simplejson:
  /home/me/env/lib/python2.7/site-packages/simplejson
  /home/me/env/lib/python2.7/site-packages/simplejson-2.2.1-py2.7.egg-info
Proceed (y/n)? y
  Successfully uninstalled simplejson

کلا امکانات زیادی دارد. از مجموعه امکاناتی که من در pip خیلی دوست داشتم ساخت فایل requirement است. به طور مثال می خواهید یک مجموعه ای از برنامه ها را دانلود کنید. یک لیست از برنامه ها را در یک فایل بگذارید و به دستور زیر همه را دانلود کنید. من همچین فایلی ساختم و همیشه بعد از نصب سیستم عامل جدید این فایل را اجرا می کنم.

$ pip install -r requirements

خب من چیا استفاده می کنم؟

توی این پست من لیستی از افزونه ها با توضیحاتشون می گم که امیدوارم از اونایی که خوشتون اومد استفاده کنید.

Adblock Plus 2.0.1
http://adblockplus.org/en

در این افزونه شما به راحتی تبلیغات مزاحمی که می بینید رو حذف میکنید که همین باعث میشود صفحه خلوت تری و بهتری داشته باشید. خیلی خوبه

AutoProxy 0.4b2.2011041023
https://autoproxy.org

هر کاربری معمولا یک لیست پر-وکسی داره و یه لیست سایت هایی که مشکل دارند که چون قضیه یه مقدار در همه کلا از پر-وکسی استفاده می کنیم. خب این افزونه خیلی راحت توی هر سایتی می گه می خواهی درخواست های این سایت از پرو-کسی استفاده کنم و باعث میشه ترافیک اضافی رو از جای دیگه نگیری. به نظرم کار خیلی خوبیه

ColorZilla 2.6.4
http://www.colorzilla.com

برای طراح ها و کسانی که می خوان یه css کوچیک رو عوض کنند خیلی مهمه که بدونند این رنگ هایی که می بینند دقیقا چه رنگیه ( کد hex شون چیه؟ ) با این افزونه به راحتی می تونه رنگ و پیدا کنید و کپی کنید.

Delicious Bookmarks 2.3.1
http://delicious.com/help/quicktour/firefox

با شبکه Delicious ارتباط بر قرار می کنه و عملا می تونه جای bookmark های شما رو پر کنه. اون لینک هایی رو هم که دوست دارید می تونید به اشتراک بگذارید

DownThemAll! 2.0.8
http://downthemall.net

یک دانلودر خیلی خوب که با تمام سرعت ممکن می تونه فایل های شما رو دانلود کنه.

Email This! Bookmarklet Extension 2.3.0
http://www.lazyrussian.com/my-projects/email-this-firefox-extension

برای من خیلی پیش میاد که صفحه ای رو که می بینم دوست دارم برای کسی ایمیل کنم خیلی ساده دکمه ctrl+alt+g رو می زنم و ایمیل میشه. این افزونه به درد همچین وقت هایی می خورد

Firebug 1.8.4
http://www.getfirebug.com
دقیقا این افزونه زندگی هر برنامه نویس وبی رو می تونه عوض کنه. اگه یه روزی بخوام donate کنم این اولیشه.

با این افزونه شما می تونید DOM رو ببیند و کنترل کنید. کل element های html

از console در javascript استفاده کنید

با net تمام درخواست هایی که میاد رو مانیتور کنید و response مربوطه رو بگیرید

Firecookie 1.4
http://www.janodvarko.cz/firecookie

این افزونه ای بر روی فایرباگ است که قبل تر دربارش حرف زدم. این تمام درخواست ها رو میبینه که چه کوکی هایی برایشون ارسال میشود

FireFTP 2.0
http://fireftp.mozdev.org
یک کلاینت ساده برای کار با ftp که خیلی راحت میشه باهاش کار کرد

FireQuery 1.0
http://firequery.binaryage.com
خیلی پیش میاد که بخواهیم یه سری کار تو صفحه بکنیم که با jquery خیلی راحته. با کنسول firebug میریم که کد کوچیک و بزنیم میبینیم jquery نداره که، اینکه javascript هم بنویسیم معمولا بیشتر میشه با این افزونه می تونید به راحتی jquery رو به صفحه بی افزایید

Ghostery 2.6.2
 http://www.ghostery.com
این افزونه اکثر tracker های سایت ها رو تشخیص میدهد و شما می تونید بلاکشون کنید. به طور مثال من دوست ندارم google-analytics در کنار همه اطلاعاتی که داره دقیقا بدونه من چه سایت هایی هم رفته ام. برای همین کلا حذفش می کنم.

Google Docs Viewer 1.8

ttps://addons.mozilla.org/en-US/firefox/addon/google-docs-viewer-pdf-doc-doc

برای من خیلی پیش اومده بخواهم یه فایل مثل doc رو ببینم و نمی خواستم دانلودش کنم. این به راحتی با گوگل داک بازش می کنه

GrabMyBooks 1.4
http://www.grabmybooks.com
یه سری صحه می بینم که دوست دارم با ebook reader م بخونمشون و ... همه رو می دم به این افزونه و متن درستشم تلاش می کنه تشخیص بده یا من بهش می گم و در نهایت به من یه فایل epub کوچولو میده.

InstantFox 2.4.2
http://www.instantfox.net
ترکیب جستجو با آدرس بار به همراه یه سری امکانات مثل جستجوی مستقیم در جاهای مختلف، به طور مثال من می خوام توی ویکیدیا سرچ کنم می گم w و متنمو می نویسم.

JSView 2.0.8
http://addons.mozilla.org
لیست همه جاوا اسکریپت ها و css های صفحه رو با حجمشون یه جا لیست می کنه که خیلی راحت میشه بازشون کرد و ...

Mozilla Archive Format 2.0.2
http://maf.mozdev.org
یه صفحه رو کامل می خونه و save می کنه. با همه css و javascript ها و فایل های مدیا. خیلی افزونه خوبیه وقتی نیاز دارید یه html code رو خوب ذخیره کنید

My CopyFixer 1.2
http://cyberrabbits.net
این افزونه رو دوست خوبم فرود نوشته که اینجا می بینید

Personal Menu 5.0.6
https://addons.mozilla.org/firefox/addon/3895

منوی اصلی فایرفاکس رو می تونید ویرایش کنید و اونطوری که دوست داریدش تنظمیش کنید. واقعا چه چیزهایی لازم دارید همون ها رو بذارید و بقیه رو پاک کنید D:
 

Read It Later 2.1.3
http://readitlaterlist.com
خیلی پیش می آید که یه سری صفحه باشه که وقت ندارید بخونید ولی دوست دارید بخونید. با این توی hub سایت read it later ذخیره میشه و هروقت هر جایی می تونید بخونیدشون.

Server Spy 0.2.1
http://www.jacquet80.eu/mozilla/exts/ServerSpy/
اسم سرور سایتی که دارید و از header درخواست ها در میاره و نمایش میده.

Shorten URL 0.3.8
http://shortenurl.googlecode.com/
آدرس صفحه حاضر رو با هر سرویسی که بخواهید کوچیک می کنه.

Stylish 1.2.4
http://userstyles.org
میتونید یک css رو به css های یک سایت بی افزایید که کار خوبیه مثلا دوست دارید فونت یه سایت تاهوما باشه و ... با این افزونه به راحتی میشه این کارا رو کرد.

Tab Mix Plus 0.3.8.7
http://tmp.garyr.net
یه سری امکانات خوب داره که باعث میشه tab ها امکانات بیشتری داشته باشند. رنگ خوانده ها معلوم تر شه یا بتونید lock کنید و ...

WebRank Toolbar 4.1.2
 http://www.webrankstats.com
یه مجموعه از امکانات چک کردن رنک های مختلف مثل google page rank یا alexa و ... است البته از این افزونه ها زیاده ولی من از این استفاده می کنم چون یک دکمه است و خیلی جا نمیگیره D:

window manager چیست:

ابزاری نرم افزاری که در محیط گرافیکی gui موقعیت پنجره ها رو مدیریت می کند. البته می توان گفت اکثر window manager ها تکمیل تر می شوند و کار DE ها رو هم انجام می دهند. DE ها از یک wm یک برنامه مدیریت فایل، یک مجموعه کتابخانه و ... تشکیل می شود.

نصب Dwm کار سختی نیست که شما هم می توانید از طریق ریپو هایتان نصبش کنید و هم می توانید از طریق کامپایل کردن پکیجش نصب کنید. برای عوض کردن تنظیماتش راه دوم بهتر است.

برای همین از سایت اصلی source مربوطه را دریافت کنید. ( به این بسته هم نگاه کنید. )

برای عوض کردن رنگ و چیزهای دیگر باید فایل config.h را تغییر بدهید. به طور مثال من با دکمه Alt به عنوان کلید اصلی مشکل داشتم برای همین همه چیز را به دکمه super تغییر دادم که با  emacs دوست داشتنی ام مشکلی نداشته باشد.

یکی از مهمترین خاصیت های dwm پشتیبانی از سیستم tiling است که در این حالت می تونید دو برنامه را به صورت خرد شده در کنار هم ببینید. من در تنظیمات خودم ۳ حالت دارم. اینکه یک پنجره را فقط نشان بدهد اینکه همه را tile کند اینکه کلا float باشد.\

نمونه کانفیگ فایلش رو میتونید اینجا ببینید.

در این کانفیگ شما می تونید از دکمه های پایین استفاده کنید.

dmenu رو یا همون باز کننده برنامه هاتونه --> super + space

باز کردن workspace ها --> super + numkey

انتقال پنجره به workspace های دیگر --> shift + super + numkey

layout به صورت tile در بیاید --> super + t

layout به صورت full در بیاید --> super + m

layout به صورت float در بیاید --> super + f

و ...

کلا با خواندن فایل تنظیمات می توانید به همه دکمه ها پی ببرید D: .

نکات راهبردی:

برای مدیریت شبکه توصیه می کنم از برنامه wicd استفاده کنید

sudo yum install wicd wicd-gtk wicd-curses
sudo service NetworkManager stop # Bad password errors if both are running…
sudo service wicd start
wicd-client -n

برای مدیریت ترمینال دو برنامه خوب هست که کار راه اندازند

terminator که قابلیت tile شدن داخلی داره و خیلی کارایی دارد ( یه سری آموزش و توضیحات اینجا است.)

guake که یه سری کارهای گرافیکی می کنه :D

برای تغییر بک گراند از ابزاری به اسم feh می تونید استفاده کنید که می تونه تصویر رو عوض کنه

برای فایل منیجر هم ابزار هایی مثل krusader, doublecommander, thunar هم خوب است. البته بی مشکل ترینشون همین krusader است که kde است.

برای تغییر زبان هم می توانید از setxkbmap استفاده کنید.

setxkbmap -option grp:switch,grp:alt_shift_ toggle,grp_led:scroll us,ir

کلا شما می توانید یک سری تنظیمات داشته باشید که در init ی جایی بازش کنید

نمونه کدی که می توانید بنویسید:

while true; do
    xsetroot -name "Memory $(free -m | grep '^Mem' | awk '{print "\x02 total: " $2 "MB used: " $3"MB \x01"}') CPU $(top -bn 1 | grep '^Cpu' | tr -d 'usy,' | awk '{print "\x02 user " $2 ", sys " $3 "\x01 Date \x02"}') $( date +"%F %R" ) $(uptime | awk '{print  "Up:" $3}' | tr -d ',')"
     
    sleep 60s
done &

# start wallpaper

feh --bg-scale ~/Pictures/wallpapaer/7sobhgoode.jpg

در این کد با xsetroot مقدار رم مصرف شده و ... رو نوشته بک گراند هم عوض کردیم.

چند screenshot:

من برای اینکار از چند تا کتابخانه استفاده خواهم کرد.

import urllib

site = urllib.urlopen('http://www.google.com')
site_data = site.read()
site.close()

در urllib به سادگی می توانید یک آدرس را دانلود کنید. ما برای scrap باید آدرس را بسازیم و هر دفعه دوباره دانلود کنیم.

لایبری بعدی که باید استفاده کنیم lxml است که با آن می توانیم دقیقا element مشخصی را با استفاده از Xpath یا selector از کل html خارج کنیم

from lxml import etree, html

content = html.fromstring(site_data)
content.find_class("title")

خوب من یک کد کوچیک می نویسم که کارش اینه که آدرس سایت را بگیرد و هنگام کار بگویید چه کلاسی را می خواهید و در نتایجش که یک دیکشنری است ذخیره کند.

from HTMLParser import HTMLParser
from lxml import etree, html
import urllib

class Stripper(HTMLParser):
   
    def __init__(self):
        self.reset()
        self.fed = []
       
    def handle_data(self, d):
        self.fed.append(d)
       
    def get_data(self):
        return ''.join(self.fed)

def strip_tags(html_code):
    s = Stripper()
    s.feed(html_code)
    return s.get_data()

   
class scrap(object):
    """
    scrap site with addres and you can access to final_scrap for complete data
    """
    final_scrap = dict()
   
    def __init__(self, url=None):
        """
        download site
        """
        if not url:
            site = open('persian.html', 'r')
            site.seek(0)
        else:
            site = urllib.urlopen(url)
           
        self.content = site.read()
        self.content = html.fromstring(self.content)
       
    def normalize(self, data):
        striped = etree.tostring(data, encoding='utf-8')
        striped = strip_tags(striped)
        striped = striped.replace('\t','').replace('\n','')
        return striped

    def find_and_insert(self, name, element_class, element_number=None):
        """
        read self.content and find element_class form html with find_class
        """
        scrap_element = self.content.find_class(element_class)
        self.final_scrap[name] = self.normalize(scrap_element[element_number or 0])

خوب حالا من چگونه از این کلاس می تونم استفاده کنم؟

برای این کار من فایل پایتونی scrap رو اجرا می کنم

$ ipython -i scrap.py
Welcome to rlcompleter2 0.96
for nice experiences hit <tab> multiple times
Python 2.6.7 (r267:88850, Aug  3 2011, 11:33:52)
Type "copyright", "credits" or "license" for more information.

IPython 0.10.2 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object'. ?object also works, ?? prints more.

In [1]: a = scrap('http://127.0.0.1')

In [2]: a.find_and_insert("title","title")

In [3]: a.fin
a.final_scrap      a.find_and_insert 

In [3]: a.final_scrap
Out[3]: {'title': '\xd9\xbe\xd8\xb1\xd8\xb4\xdb\x8c\xd9\x86'}

In [4]: print a.final_scrap['title']
پرشین

همونطوری که می بینید تونست صفحه رو از localhost من بخونه و نتایج رو درست برگرداند. حالا شما که می خواهید یک مجموعه صفحه را بخوانید و اطلاعاتشان را بدست آورید در یک حلقه آدرس صفحات مختلف را بسازید و اطلاعات مربوطه را که یک دیکشنری است در پایگاه داده خود ذخیره کنید.

به طور مثال من سایتی دارم که آدرسی نظیر http://www.pesarak.ir/?p=320 دارد . همانطور که می بینید ۳۲۰ یک عدد است که با عوض کردنش می توانم به صفحات دیگر دسترسی پیدا کنم. خوب با بررسی بیشتر متوجه می شوم این سایت اخرین صفحه ای که دارد همان ۳۲۰ است پس یک حلقه درست می کنم که از ۱ تا ۳۲۰ برود و یک string که همان آدرس است درست می کنم و به برنامه scrap می دهم و برایم دریافت می کند و در دیتابیس ذخیره می کنم.

دقت کنید احتمال دارد که با گذاشتن اعداد مختلف به صفحه ای برسید که وجود ندارد برای همین بگویید اگر مثلا صفحه مقدار title داشت ذخیره کن وگرنه برو صفحه بعدی ( title فقط مثال است )

روبات شما الان به راحتی می تواند در مدت کوتاهی تمام اطلاعات یک سایت را بدست آورد.

موفق باشید

در اکثر جاها Twisted کارها، نوشتن یادگیری Twisted نیاز به کار و تمرین زیاد داره در عین حالی که کد خوبی داره و مستندات کاملی داره.

from twisted.web import server, resource
from twisted.internet import reactor

class HelloResource(resource.Resource):
    isLeaf = True
    def render_GET(self, request):
        request.setHeader("content-type", "text/plain")
        return "Hello, world!"

reactor.listenTCP(8080, server.Site(HelloResource()))
reactor.run()

در نمونه ی بالا اومده با وب سرور Twisted یک صفحه ساده Hello, World ساده درست می کند.

چند وقتی هست که دوست دارم درباره Twisted مطالبی بنویسم. مطلب فارسی مناسبی برای این کتابخانه وجود ندارد.

بعد از این درباره asynchronous و thread و parallel می گم و در نهایت یه برنامه ای می نویسیم .

سایت اصلی:

http://twistedmatrix.com

یکی از کتاب های خوب آموزش Twisted

Twisted Network Programming Essentials

یه pdf خیلی خوب هم دیدم که بیشتر با این من جلو می رم

دریافت فایل
سایز فایل:1.32 مگابایت
توضیحات فایل:کتاب آموزش twisted

منابع:

http://krondo.com/blog/?page%5Fid=1327

http://jcalderone.livejournal.com/tag/sixty%20seconds

http://twistedmatrix.com/documents/current/core/howto/pb-intro.html

http://twistedmatrix.com/documents/current/core/howto/index.html

•     برای هر درخواست یک process جدید درست می کنند
•     برای هر درخواست یک process جدید درست می کنند در حالی که سیستم connection poll هم دارند که تا مدتی process ها را نگه می دارد و در صورتی که در آن زمان درخواست جدیدی بیاید از process های بیکار استفاده می کنند
•     برای هر درخواست یک thread جدید درست می کنند
•     برای هر درخواست یک thread جدید درست می کنند در حالی که سیستم thread poll هم دارند که تا مدتی thread ها را نگه می دارد و در صورتی که در آن زمان درخواست جدیدی بیاید از thread های بیکار استفاده می کنند
•     یک process همه event ها را مدیریت می کند. (قبول درخواست، پاسخ به کاربر، خواندن داده و … )
•     ترکیبات روش ها

Nginx از روش چهارم استفاده می کند به همراه ساخت process برای مجموعه از event ها … البته مقداری مشخص را در config مشخص می کند. همه این ها برای این است که بیشترین استفاده را از سیستم خود بکنیم.

به طور کلی باز کردن process و thread هزینه بر است و از آن مهمتر مدیریت اینهاست. وب سرورهایی شبیه Apache که  process و thread هستند با درخواست های زیاد به شدت درگیر مدیریت  process و thread می شوند که در نتیجه فشار زیاد تری به سرور می آورند

http://www.devside.net/articles/apache-performance-tuning
The more RAM your system has, the more processes [and threads] Apache can allocate and use; which directly translates into the amount of concurrent requests/clients Apache can serve.

ارتباط مستقیمی بین RAM و درخواست ها در این وب سرور ها وجود دارد که در روش nginx تا جای ممکن از استفاده ی اضافه آن جلوگیری شده است.

توضیح دیگری را دیدم که جالب به نظر می رسید.#

فکر کنید که وب سرور یک پیتزا فروشیست که باید سفارش ها را از طریق تلفن دریافت کند. در روش process و thread فروشگاه کارمند استخدام می کند (process و thread) که هرکدامشان یک خط تلفن دارند و هر کدام سفارش را از طریق تلفن می گیرند و صبر می کنند تا پیتزا حاضر شود تا به مشتری بگویند ( هنوز تلفن قطع نشده) پیتزای شما حاضر است.

در روش Nginx فقط تعداد محدودی کارمند استخدام می شود که تلفن ها را پاسخ می دهد و می گوید به محض حاضر شدن به شما می گوییم. و وقتی حاضر شد زنگ می زند.

nginx چه کارهایی بلد است؟

nginx علاوه بر این که یک وب سرور است  reverse proxy و e-mail (IMAP/POP3) proxy هم هست … علاوه بر درخواست های http در خواست های مربوط به IMAP و POP3 هم می تواند از امکانات nginx استفاده کند. در این روش شما می توانید از روش ها loadbalancing و چیزهایی از این قبیل برای ایمیل استفاده کنید. البته شما می توانید حتی کارهای عجیب غریبی مثل authentication mail را هم از طریق nginx انجام دهید.

reverse proxy درخواست های بیرونی را به صورت صف شده و جاهای مختلف می فرستد

•     reverse proxy ها موجودی سرور های شما را مخفی می کنند و همه ی دنیا شما را از دریچه reverse proxy می بینند.
•     تمام درخواست ها از reverse proxy می گذرد پس جای مناسبی برای firewall ها و … است
•     reverse proxy درخواست ها به صورت گسترده ای می تواند پخش کند.
•     reverse proxy فشار را با cache کردن محتوای صفحات ثابت می تواند کم کند
•     reverse proxy با فشرده سازی محتوای خروجی سرور ها می تواند زمان درخواست ها را کم کرده و پاسخ به درخواست ها را سریع تر کند.
•     درخواست ها بین سرور reverse proxy و سرور اصلی به سرعت انجام می شود و connection در reverse proxy باز می ماند و سرور اصلی در گیر نمی شود. ( روش SpoonFeeding )

نصب Nginx:

از سایت  http://nginx.org/en/download.html نسخه آخر را دریافت کنید ( که در این مقاله nginx-1.0.6 است)

فایل فشرده شده را باز کنید.

وارد پوشه شوید و از دستور ./configure برای چک کردن نیازمندی ها و ساخت makefile

با دستور make install وب سرور شما نصب می شود. به صورت پیش فرض در آدرس /usr/local/nginx/ قرار می گیرد. برای اجرای وب سرور فایل nginx را اجرا کنید.

/usr/local/nginx/sbin/nginx

حالا port 80 localhost خود را در مروگری چک کنید.
 

وب سرور شما با موفقیت نصب و اجرا شد.

برای تست وب سرور با پایتون نیاز یک منتقل Web Server Gateway Interface احتیاج داریم که درخواست های ما را به پایتون بدهد. ما برای این کار از uwsgi استفاده می کنیم. خوشبختانه از 0.8.40# به صورت پیشفرض تنظیماتش اضافه شده است.

برای شروع باید uwsgi را نصب کنید.

از سایت اصلی دانلود کنید http://projects.unbit.it/downloads/uwsgi-0.9.9.tar.gz بعد از خارج کردن از حالت فشرده آن را compile کنید . دقت کنید که برای اینکه بتوانید این ماژول c  و پایتونی را کامپایل کنید می بایستی python-dev را هم نصب کنید.

من یک پوشه به اسم /srv/www/zconf/ می سازم که در آن ۲ پوشه وجود دارد
 

در پوشه application من برنامه ای که از فریم ورک flask# استفاده کرده است گذاشتم و در پوشه دیگر هم logfile مربوط به uwsgi و access مربوط به nginx را گذاشته ام.

برنامه ما حالت بسیار ساده ای دارد که فقط درخواست را می گیرد و بدون هیچ cache ای محتوا را بر می گرداند.

#!/usr/bin/env python
# -*- encoding: utf-8 -*-  
"""
  app.py
~~~~~~~~~
"""
from flask import Flask
from flask import render_template_string
from werkzeug.contrib.fixers import ProxyFix

app = Flask(__name__)
@app.route('/')
def index():
   return render_template_string('<h1>Hello Zconf</h1>')

app.wsgi_app = ProxyFix(app.wsgi_app)

در فایل تنظیمات مربوط به nginx هم می بایستی بگوییم که از uwsgi بخواند.

فایل تنظیمات Nginx:

#user  nobody;

worker_processes  1;

میزان process ی که nginx می تواند باز کند اینجا مشخص می شود  

#error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

مسیر پیشرفض error ها و نوع error ها در اینجا مشخص می شود

events {

   worker_connections  1024;

}

تعداد events هایی که یک process می تواند مدیریت کند

پس می توان گفت تعداد connection ها ضرب بین این متغیر و تعداد process هاست

http {

   include       mime.types;

مسیری که mime ها را از آن می خواند

   default_type  application/octet-stream;

نوع پیشفرض mime ی که استفاده می شود

#log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

#                  '$status $body_bytes_sent "$http_referer" '

#                  '"$http_user_agent" "$http_x_forwarded_for"';

قالب log

   #access_log  logs/access.log  main;

log مربوط به درخواست ها

   sendfile        on;

درخواست های مربوط به فایل را قبول کند یا نه

   #tcp_nopush     on;

HTTP response header را با یک پکت ارسال م یکند

   #keepalive_timeout  0;

   keepalive_timeout  65;

میزان زمانی که می خواهیم connection باز باشد تا جواب داده شود

   server {

       listen       80;

port پیشفرض

       server_name  localhost;

اسم سرور

       #charset koi8-r;

charset پیشفرض

#access_log  logs/host.access.log  main;

    location / {

   include uwsgi_params;

در اینجا من می گویم که از فایل uwsgi_params که به صورت پیشفرض در پوشه conf داری تنظیمات خود را بخوان

   uwsgi_pass 127.0.0.1:3031;

آدرسی که از آن می توانی درخواست ها را بخوانی

        }

       error_page   500 502 503 504  /50x.html;

       location = /50x.html {

           root   html;

       }

   }

}

همونطور که دیدید من درخواست های مربوط به port ۸۰ را به uwsgi دادم. در این مرحله باید با به uwsgi بگوییم که در پورت مورد نظر اجرا شود

# uwsgi --socket 127.0.0.1:3031 --file application/app.py --callable app --processes 4 --daemonize logs/uwsgi.log

حالا سرور nginx را kill کنید و دوباره startکنید

وب سرور شما به خوبی توانست درخواست را از فایل پایتون بگیرد و نمایش دهد.

بنچمارک nginx

در این مرحله با apache benchmark به تعداد ۱۰۰۰۰۰ درخواست را به سرور می فرستیم که نتیجه کار را ببینیم

efazati@efazati-PA65-UD3-B3:~$ ab -n 100000 -c 10 -g test_data_1.txt http://zconf/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking zconf (be patient)

Completed 10000 requests

Completed 20000 requests

Completed 30000 requests

Completed 40000 requests

Completed 50000 requests

Completed 60000 requests

Completed 70000 requests

Completed 80000 requests

Completed 90000 requests

Completed 100000 requests

Finished 100000 requests

Server Software:        nginx/1.0.6

Server Hostname:        zconf

Server Port:            80

Document Path:          /

Document Length:        20 bytes

Concurrency Level:      10

Time taken for tests:   19.961 seconds

Complete requests:      100000

Failed requests:        0

Write errors:           0

Total transferred:      17600000 bytes

HTML transferred:       2000000 bytes

Requests per second:    5009.86 [#/sec] (mean)

Time per request:       1.996 [ms] (mean)

Time per request:       0.200 [ms] (mean, across all concurrent requests)

Transfer rate:          861.07 [Kbytes/sec] received

Connection Times (ms)

             min  mean[+/-sd] median   max

Connect:        0    0   0.0      0       0

Processing:     1    2   1.5      2      35

Waiting:        1    2   1.5      2      35

Total:          1    2   1.5      2      35

Percentage of the requests served within a certain time (ms)

 50%      2

 66%      2

 75%      2

 80%      2

 90%      2

 95%      3

 98%      6

 99%     12

100%     35 (longest request)

همانطور که دقت می کنید با اینکه Concurrency برابر ۱۰ بود زمان connection زمانی معادل ۰ داشته

از طرفی هم نمودار های دیگری نیز وجود دارد که استفاده از آنها خالی از لطف نیست.

در مجموع نصب کردن و کار کردن به این وب سرور کار راحتی است و با رشدی که دارد پیش بینی می کنم در آینده درصد بیشتری از سهم وب سرور ها را به خود اختصاص دهد.

منابع:

http://articles.slicehost.com/nginx

http://articles.slicehost.com/2009/8/14/debian-lenny-nginx-configuration

http://wiki.nginx.org

http://articles.slicehost.com/2009/3/4/ubuntu-intrepid-installing-nginx-from-source

http://wiki.nginx.org/Install

http://wiki.nginx.org/NgxWSGIModule

http://library.linode.com/web-servers/nginx/python-uwsgi/debian-6-squeeze

http://wirtel.be/2011/02/24/nginx_gunicorn_flask/

http://brandonkonkle.com/blog/2010/sep/14/django-uwsgi-and-nginx/

http://en.wikipedia.org/wiki/Nginx

http://projects.unbit.it/uwsgi/wiki

http://projects.unbit.it/uwsgi/wiki/Doc

http://projects.unbit.it/uwsgi/wiki/RunOnNginx

http://library.linode.com/web-servers/nginx/configuration/basic

http://www.baus.net/on-tcp_cork

http://en.wikipedia.org/wiki/Web_server_benchmarking

http://en.wikipedia.org/wiki/Reverse_proxy

http://en.wikipedia.org/wiki/Proxy_server

http://www.webfaction.com/blog/nginx-apache-memory.png

https://farm4.static.flickr.com/3241/2298693485_df1606c495.jpg?v=0

http://www.ehow.com/list_6183870_list-server-software.html

خب برای ماه آبان و آذر چه کارهایی قرار است بکنیم؟

• معرفی Nginx - مقاله ارایه شده در دومین کنفرانس نرم افزار های آزاد - زنجان شهریور ۱۳۹۰
• معرفی Twisted - event-driven networking engine
• چگونه یک روبات جمع آوری اطلاعات از یک سایت بنویسیم؟
• DWM راهکار مناسبی برای مدیریت پنجره ها در لینوکس
• تست و معرفی Dart - زبان گوگل
• راه اندازی DNS Server
• استفاده از KVM به عنوان یک ابزار عملی - نصب و راه اندازی

اینجا دوست دارم چیز هایی که می بینم و خیلی ساده توضیح بدهم ...

چیزایی که دوست دارم، درباره برنامه نویسی، python،  php , nginx, linux ‌و ... است .

اگر وقت و حوصله داشته باشم حتما مطالبی رو که قبلا نوشتم رو منتقل می کنم و همینطور شاید دامنه pesarak.ir را هم به این بلاگ ست کردم