بایگانی برچسب: s

درست کردن خودکار فهرست فایل های دایرکتوری

یک ایمیل داشتیم که درخواست می کرد دایرکتوری audio توی سرور من قابل خوندن باشه که بشه یک ضرب کل رادیو گیک ها رو ازش گرفت. اینکار رو می شه با باز گذاشتن اتوایندکس درست کرد که معمولا کار خوبی نیست یا می شه یک اسکریپت کوچیک براش نوشت. اینطوری:

اگر نمی خواین ۱۲ دقیق ویدئو رو ببینین، خلاصه اش اینه که یک اسکریپت ساده به این شکل فایل اچ تی ام ال مورد نظر رو تولید می کنه :

#!/bin/sh

cd /home/jadi/public_html/audio/
echo "<html><body>" > index.html
echo "<ul>" >> index.html

for i in `ls *mp3 -tr`
do
    echo "<li>" >> index.html
    echo \<a href="$i"\>$i\</a\> >> index.html
    echo \</li\> >> index.html
done
echo "</ul>" >> index.html
echo "</body></html>" >> index.html

و کافیه این رو توی کرون بذاریم تا هر روز یکبار اجرا بشه:

07  12  *   *   *   /home/jadi/public_html/audio/makeindex.sh

و حالا می تونین مستقیم دایرکتوری http://jadi.net/audio رو ببینین؛ البته اگر شما هم می خواین دانلود کنین اجازه بدین یک کم زمان بگذره که همه با هم مشغول گرفتن اینهمه فایل نباشیم (:

اشتباه زدم، فاک!

سعید توی کامنتش در مطلب خداحافظ شل، سلام زیشل، یه برنامه جالب معرفی کرده: د فاک. این برنامه بامزه دقیقا همونی است که بعضی‌هامون وقتی یک تیکه از یک کامند رو اشتباه می‌زنیم می‌گیم: «د فاک/چرا اجرا نشد؟». اگر درست بعد از اون کامند بزنین fuck خودش می‌فهمه مشکل دستور قبلی است، سعی می کنه تصحیحش کنه و با یک انتر شما، اجراش کنه. مثلا:

برنامه با پایتون است و برای نصبش کافیه بزنین:

sudo -H pip install thefuck

و بعد از اولین fuck، خودش راهنمایی می کنه که چی رو باید کجا بنویسین. احتمالا یک کد کوتاه رو در bashrc. یا zshrc. و بعد اجرای دوباره bash یا zsh.

چرا گنو/لینوکس رو دوست دارم: بررسی اسم رنگ های فارسی

بحث از جای جالبی شروع شد. من گفتم رنگ های ایرانی بامزه هستن چون موارد خیلی کمی داریم که توش یک اسم خاص برای یک رنگ استفاده شده باشه. مثلا «زرد» یک اسم خاص است که به یک رنگ اشاره می‌کنه ولی «آبی» یعنی چیزی که به رنگ آب است. برای بررسی این نسبت، سری به صفحه رنگ های ویکیپدیا زدم و بعد از حذف رنگ‌های تفسیری (خودم اسم می ذارم دیگه!) یعنی مثلا «سبز لجنی» یا «آبی درباری» و حذف پسوندهایی مثل «تیره» و «سیر» و … و موارد مشابه به این هشتاد و یک رنگ رسیدم:

آبی، آجری، آل، آلبالویی، اُخرایی، ارغوانی، استخوانی، بادمجونی، برگ سنجدی، برنجی، برنزی، بژ، بنفش، پرکلاغی، پوست پیازی، پوست گرگی، تاج خروسی، تریاکی، جگری، حنایی، خاکستری، خاکی، خردلی، خرمایی، دارچینی، دودی، دوغی، دلفینی، روناسی، زرد، زرشکی، زعفرانی، زغالی، زیتونی، سبز، سدری، سربی، سرخ، سرخابی، سرمه‌ای، سفید، سیاه، مشکی، شرابی، شفقی، شکلاتی، شنگرفی، شیرشکری، شیری، صورتی، طلایی، طوسی، عنابی، فندقی، فولادی، فیروزه‌ای، فیلی، قرمز، قهوه‌ای، کرم، کله غازی، گردویی، گلبهی، گیلاسی، لاجوردی، لجنی، لیمویی، ماشی، مرجانی، مسی، مغزپسته‌ای، نارنجی، نخودی، نقره‌ای، نوک مدادی، نیلی، هلویی، یاسی، یاقوتی، یخی، یشمی

هوم.. برنامه یا دست؟ برنامه.. هر چی باشه ما هکریم! بذارین آخر هر چیزی که «ی» هست رو بشمریم و نگاهی بندازیم که اشتباه نشده باشه:

jadi@funlife:/tmp$ grep ".*ی$" colors.txt  | wc -l 
71

jadi@funlife:/tmp$ grep ".*ی$" colors.txt  | xargs echo | sed 's/ /، /g'
آبی، آجری، آلبالویی، اُخرایی، ارغوانی، استخوانی، بادمجونی، برگ سنجدی، برنجی، برنزی، پرکلاغی، پوست پیازی، پوست گرگی، تاج خروسی، تریاکی، جگری، حنایی، خاکستری، خاکی، خردلی، خرمایی، دارچینی، دودی، دوغی، دلفینی، روناسی، زرشکی، زعفرانی، زغالی، زیتونی، سدری، سربی، سرخابی، سرمهای، مشکی، شرابی، شفقی، شکلاتی، شنگرفی، شیرشکری، شیری، صورتی، طلایی، طوسی، عنابی، فندقی، فولادی، فیروزه ای، فیلی، قهوه ای، کله غازی، گردویی، گلبهی، گیلاسی، لاجوردی، لجنی، لیمویی، ماشی، مرجانی، مسی، مغزپسته ای، نارنجی، نخودی، نقره ای، نوک مدادی، نیلی، هلویی، یاسی، یاقوتی، یخی، یشمی


jadi@funlife:/tmp$ grep -v ".*ی$" colors.txt  | wc -l 
10

jadi@funlife:/tmp$ grep -v ".*ی$" colors.txt  | xargs echo | sed 's/ /، /g'
آل، بژ، بنفش، زرد، سبز، سرخ، سفید، سیاه، قرمز، کرم
jadi@funlife:/tmp$ 

خب.. ده تا رنگ داریم که به چیزی اشاره نمی‌کنن و خودشون هستن:

‌ آل، بژ، بنفش، زرد، سبز، سرخ، سفید، سیاه، قرمز، کرم

در اینجا «آل» یک جور قرمز است و بقیه هم که مشخصن. پس از بین ۸۱ رنگی که داشتیم،‌ ده رنگ اسم خاص خودشون رو دارن و ۷۱ رنگ به چیزهای مختلف برای توضیح رنگ ها اشاره می کنن.

colors

و نکات جالب؟

  • رنگ های باحالی داریم مثل دوغی، یخی، دودی و البته تریاکی!
  • سفید یخچالی جزو رنگ ها است که البته اینجا نشمردیم چون بخشی از «سفید» است ولی جالبه که قبل از ورود یخچال به اون رنگ چی می گفتن
  • من همیشه به شوخی از آدم ها می پرسیدم کدوم رنگ است که فقط به چشم اشاره می کنه و نه چیز دیگه! جواب «میشی» است.. ظاهرا دلیلش اینه که کلا «میشی» اسم رنگ نیست و اشتباه مصطلح است. رنگ درست «ماشی» است (:
  • نوک مدادی هم بامزه است (در کنار قرمز ماتیکی یا کالباسی مثلا!) چون منطقا این چیزها خودوشن نیازمند تفسیر شدن رنگ هستن. یعنی خود مداد رو باید بگیم چه رنگیه بعد بگیم اون رنگ رنگ مداده (:

راستی! معلومه که فرض اولیه این مطلب وقتی منطقی می شه که با بقیه زبون‌ها هم مقایسه کنیم ولی خب در همین حد برای من فان بوده (:

چرا گنو/لینوکس رو دوست دارم:‌ فهرست کردن کل فایل‌های قابل دانلود یک سایت

یک دوستی پرسیده که چطوری می تونیم فهرست همه فایل‌های قابل دانلود در سروری مثل dl.folan.net رو داشته باشیم. این سرور اجازه می‌ده شما دایرکتوری‌هاش رو ببینین:

Screenshot from 2015-11-25 11-57-46

و مثلا توی دایرکتوری فیلم‌ها:

Screenshot from 2015-11-25 11-58-08

درست؟ دوست همیشگی ما در سری چرا گنو/لینوکس رو دوست دارم دستور جذاب wget است. پس شروع می کنیم!

$ wget --spider --force-html -r -l5 htp://dl.folan.net/Movie/

می تونه به شکل یک اسپایدر فایل‌های اچ تی ام ال رو می‌گیره و توشون رو نگاه می کنه و پاک می کنه و اینکار رو تا پنج شاخه داخل دایرکتوری‌ها هم پی‌ می‌گیره. البته اگر ارور بگیریم، دردسر درست می‌شه پس با اضافه کردن یک عبارت کوچیک، ارورها رو هم به خروجی اضافه می کنیم:

$ wget --spider --force-html -r -l5 htp://dl.folan.net/Movie/ 2>&1 

این دستور خروجی‌هایی شبیه به این تولید می کنه:

Spider mode enabled. Check if remote file exists.
--2015-11-25 12:02:51--  htp://dl.folan.net/Movie/5/American.History.X.1998.720p.folan.Net.mkv
Reusing existing connection to dl.folan.net:80.
htp request sent, awaiting response... 200 OK
Length: 785963069 (750M) [application/octet-stream]
Remote file exists but does not contain any link -- not retrieving.

Removing dl.folan.net/Movie/5/American.History.X.1998.720p.folan.Net.mkv.
unlink: No such file or directory

Spider mode enabled. Check if remote file exists.
--2015-11-25 12:02:51--  htp://dl.folan.net/Movie/5/American.Justice.2015.1080p.folan.Net.mkv
Reusing existing connection to dl.folan.net:80.

من خط‌هایی رو می‌خوام که اولشون — داره و پس می ریم سراغ grep که می‌تونه توی یک متن خط‌هایی رو جدا کنه که چیز خاصی توشون هست:

$ wget --spider --force-html -r -l5 htp://dl.folan.net/Movie/ 2>&1 | grep '^--'
--2015-11-25 12:04:57--  htp://dl.folan.net/Movie/4/A.Good.Day.to.Die.Hard.2013.720p.folan.Net.mkv
--2015-11-25 12:04:57--  htp://dl.folan.net/Movie/4/A.Good.Marriage.2014.BluRay.720p.folan.Net.Mkv
--2015-11-25 12:04:57--  htp://dl.folan.net/Movie/4/A.Hijacking.2012.720p.folan.Net.mkv

و خب حالا می تونیم فقط بخش یو آر ال رو جدا کنیم. با استفاده از awk:

$ wget --spider --force-html -r -l5 htp://dl.folan.net/Movie/ 2>&1 | grep '^--' | awk '{ print $3 }' 
htp://dl.folan.net/6piljd5xepub7trr13ke.gif
htp://dl.folan.net/85film3.gif
htp://dl.folan.net/Movie/1/Into.the.Woods.2014.720p.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/Iyobinte.Pusthakam.2014.720p.DVDrip.%5Bfolan.Net%5D.mp4
htp://dl.folan.net/Movie/1/Kick.2014.720p.BluRay.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/La.Grande.Illusion.1937.720p.Farsi.Dubbed.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/Late.Phases.2014.720p.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/Le-Week-End.720p.%5Bfolan.net%5D.mkv
htp://dl.folan.net/Movie/1/Legendary.2010.LIMITED.720p.%5Bfolan.Net%5D.mkv

و بعد فقط خط‌هایی رو نگه داریم که آخرشون چیزهایی مثل / یا css یا html و .. نداره:

$ wget --spider --force-html -r -l5 htp://dl.folan.net/Movie/ 2>&1 | grep '^--' | awk '{ print $3 }' | grep -v '\.\(css\|js\|png\|gif\|jpg\)$' | grep -v '\/$' 
htp://dl.folan.net/Movie/1/Into.the.Woods.2014.720p.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/Iyobinte.Pusthakam.2014.720p.DVDrip.%5Bfolan.Net%5D.mp4
htp://dl.folan.net/Movie/1/Kick.2014.720p.BluRay.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/La.Grande.Illusion.1937.720p.Farsi.Dubbed.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/Late.Phases.2014.720p.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/1/Le-Week-End.720p.%5Bfolan.net%5D.mkv
htp://dl.folan.net/Movie/1/Legendary.2010.LIMITED.720p.%5Bfolan.Net%5D.mkv

ایول. حالا کافیه همه چیز رو بریزیم توی یک فایل و خروی‌ها رو یک چکی بکنیم که درست باشه:

$ sort -R all.urls | head
htp://dl.folan.net/Movie/5/Modern.Times.1936.720p.Farsi.Dubbed.folan.Net.mkv
htp://dl.folan.net/Serial/The%20Killing/S01/The.Killing.S01E08.480p.folan.Net.mkv.folan.Net.mkv.mkv
htp://dl.folan.net/Serial/Breaking%20Bad/S05/BreakingBad.S05E06.folan.Net.mkv
htp://dl.folan.net/Movie/2/Priest.of.Evil.2010.720p.%5Bfolan.Net%5D.mkv
htp://dl.folan.net/Movie/5/A.Midsummer.Nights.Dream.1999.720p.WEB-DL.folan.Net.mkv
htp://dl.folan.net/Serial/Castle/S05/Castle.S05E22.480p.folan.Net.mkv
htp://dl.folan.net/Serial/Twin%20Peaks/S02/Twin.Peaks.S02E22.480p.folan.Net.mkv
htp://dl.folan.net/Serial/Supernatural/S04/SN-S04_E11.folan.Net.mkv
htp://dl.folan.net/Movie/Problem%20Child%201990/Bacheye.DardesarSaz.1990.720pWEB-DL.HQ_folan.info.mkv
htp://dl.folan.net/Serial/Archer/S01/Archer.S01E08.folan.Net.mkv

$ wc -l all.urls 
11284 all.urls

اینجوری فهرستی از ۱۱هزار فایل قابل دانلود اون سایتی که تصمیم گرفتم به خاطر حفظ بیزنسش، آدرسش رو ندم رو داشته باشیم (: هدف این پست دانلود نیست،‌ یاد گرفتن شیوه کار با لینوکسه و همچنین دقت کنین که http ها رو کردم htp که وبلاگ سعی نکنه به عنوان فیلم لودشون کنه از یو آر ال گفته شده (: خوش باشین و خندون و توانمند.

چرا گنو لینوکس رو دوست دارم: پاسخ دادن به اینکه آیا سیستم ما وضعیت عادی داره یا مورد حمله است

ما سروری داریم که تازه تحویلش دادیم ولی هر روز حوالی ظهر با مشکل مواجه می شه. کار اصلی رو پروسه ای انجام می ده که اینجا بهش می گیم A. چندین پروسه A می تونن همزمان بالا باشن و کار کنن و ما گفتیم حداکثر این تعداد باید ۱۰۰ باشه. یعنی در صورت زیاد شدن بار، ۱۰۰ تا A بالا می یان و تقریبا صد برابر بهتر از یک A کار می کنن. یک بررسی سریع نشون می ده که در لحظه بروز مشکل دقیقا ۱۰۰ تا از پروسه A فعاله:

# ps -ef | grep A | wc -l
101

مشخصه دیگه: ps -ef پروسه ها رو نشون می ده، grep A فقط خط هایی که توشون A هست رو جدا می کنه و در نهایت wc -l تعداد خط ها رو می شمره (اگر گفتین چرا به جای ۱۰۰ تا شده صد و یکی؟).

علی الحساب تعداد Aها رو به حداکثر ۱۰۰۰ عدد افزایش می دیم و می ریم سراغ سوالی که مطرحه:

آیا ما مورد حمله هستیم؟ آیا حوالی ظهر سیستمی شروع به کار با سیستم ما می کنه که فشار رو به شکل غیرعادی بالا می بره؟ یا واقعا این شرایط عادی است و اینقدر از این سیستم استفاده می شه؟

ما لاگ هایی به این شکل داریم که حاصل کار A هستن:

127.0.0.1 -  26/Jul/2015:03:48:53 +0430 "POST /index.php?_url=xxxxx" 200 /home/adp/www/xxx/public/index.php 357.489 2048 86.72%
127.0.0.1 -  26/Jul/2015:03:48:58 +0430 "POST /index.php?_url=qqqq" 200 /home/adp/www/xxx/public/index.php 91.281 1280 98.60%
127.0.0.1 -  26/Jul/2015:03:49:32 +0430 "GET /index.php?aaa" 200 /home/adp/www/xxx/public/index.php 373.649 1792 56.20%
127.0.0.1 -  26/Jul/2015:03:50:03 +0430 "HEAD /index.php" 200 /home/adp/www/xxx/public/index.php 43.501 1280 91.95%
127.0.0.1 -  26/Jul/2015:03:55:03 +0430 "HEAD /index.php" 200 /home/adp/www/xxxx/public/index.php 63.519 1280 94.46%

من از چند روز پیش این لاگ ها رو فعال کردم تا همه درخواست ها ذخیره بشن و حالا کافیه بشمرم ببینم چه خبره! اول بذارین همه لاگ هار و به همدیگه بچسبونیم:

jadi@funlife:/tmp/dir$ ls -ltrh 
total 36M
-rw------- 1 jadi jadi 9.2M Jul 22 03:17 www.access.log-20150722
-rw------- 1 jadi jadi 6.0M Jul 23 03:10 www.access.log-20150723
-rw------- 1 jadi jadi 6.4M Jul 24 03:25 www.access.log-20150724
-rw------- 1 jadi jadi 2.5M Jul 25 03:25 www.access.log-20150725
-rw------- 1 jadi jadi 7.4M Jul 26 03:45 www.access.log-20150726
-rw------- 1 jadi jadi 4.2M Jul 26 15:17 www.access.log
jadi@funlife:/tmp/dir$ cat www.access.log-* www.access.log > all.log
jadi@funlife:/tmp/dir$ ls -ltrh 
total 72M
-rw------- 1 jadi jadi 9.2M Jul 22 03:17 www.access.log-20150722
-rw------- 1 jadi jadi 6.0M Jul 23 03:10 www.access.log-20150723
-rw------- 1 jadi jadi 6.4M Jul 24 03:25 www.access.log-20150724
-rw------- 1 jadi jadi 2.5M Jul 25 03:25 www.access.log-20150725
-rw------- 1 jadi jadi 7.4M Jul 26 03:45 www.access.log-20150726
-rw------- 1 jadi jadi 4.2M Jul 26 15:17 www.access.log
-rw-rw-r-- 1 jadi jadi  36M Jul 26 15:30 all.log

راحت و سر راست. دستور cat که محتوای فایل ها رو نشون می ده، کل فایل ها رو چسبونده به هم تا یک فایل بزرگ به اسم all.log داشته باشیم که هر خطش چنین فرمی داره:

127.0.0.1 -  26/Jul/2015:03:48:53 +0430 "POST /index.php?_url=xxxxx" 200 /home/adp/www/xxx/public/index.php 357.489 2048 86.72%

کافه من تاریخ رو جدا کنم. دستور کات همیشه دوست منه:

jadi@funlife:/tmp/dir$ cut -d' ' -f4 all.log | head
20/Jul/2015:12:03:35
20/Jul/2015:12:03:36
20/Jul/2015:12:03:39
20/Jul/2015:12:03:39

جذاب نیست؟ به سادگی گفتم کات کن با جدا کننده اسپیس و فیلد چهارم رو به من بده ولی حالا فقط چند خط اول رو نشون بده (head). عملا کار تموم شده! کافیه این خطها رو بشمرم؛ البته بعد از حذف کردن ثانیه و دقیقه. برای حذف اینها کافیه شش کاراکتر آخر هر خط رو بردارم یا با همون دستور کات دوباره بگم بر اساس :‌ جدا کنه و فیلد اول و دوم رو به من بده. این راه دوم برای من سر راست تره:

jadi@funlife:/tmp/dir$ cut -d' ' -f4 all.log | cut -d: -f1,2 | head
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12
20/Jul/2015:12

چقدر عالی. دیگه فقط کافیه سورت کنیم و بگیم بشمره. دستور uniq‌ می تونه با سوییچ های مختلف کارهای مختلف کنه. مثلا فقط خط های غیرتکراری بده، فقط خط های تکراری رو بده، از هر خط بیشتر از یکبار نده، بشمره از هر خط چند تا هست و … و البته این دستور وابسته به اینه که ورودی اش مرتب شده باشه. پس:

jadi@funlife:/tmp/dir$ cut -d' ' -f4 all.log | cut -d: -f1,2 | sort -n | uniq -c > data
jadi@funlife:/tmp/dir$ head data
   2795 20/Jul/2015:12
   2363 20/Jul/2015:13
   2383 20/Jul/2015:14
   2251 20/Jul/2015:15
   1796 20/Jul/2015:16
   1599 20/Jul/2015:17
    843 20/Jul/2015:18
    704 20/Jul/2015:20
    765 20/Jul/2015:19
   1039 20/Jul/2015:21

چه کردیم! (: فقط کافیه ترسیمش کنیم:

تعداد درخواست های سرور

و هر کسی که آمار یا حداقل نمودارهای نرمال بدونه می تونه بگه اتفاق غیرعادی ای در جریان نیست – حداقل در سطح درخواست ها. از ساعت هشت درخواست ها بالا می رن و بعد به شکلی نسبتا طبیعی افزایش پیدا می کنن تا آخر وقت اداری که دوباره آروم آروم پایین بیان. این پترن برای سایتی که مردم باهاش کار می کنن طبیعی است. مطمئنا می شه برنامه ما رو بهتر کرد ولی هدف من به عنوان مدیر سیستم این هست و بود که نشون بدم اتفاقی غیر عادی (درخواست ناگهانی از یک سیستم سر یک ساعت مشخص، حمله هکرها و …) در جریان نیست که تقریبا ثابت شده. اگر نمودارهای این تیپی دوست دارین بگین که بازم نمودارهایی واقعی از کارهای واقعی یک مدیر سیستم رو با هم مرور کنیم.

چرا گنو لینوکس رو دوست دارم: حذف صدای خواننده از یک آهنگ

ما همراهی در دنیای لینوکس داریم به اسم فرشید نوتاش حقیقت که لازم داره صدای خواننده (محمد اصفهانی) از آهنگ «سراب» حذف بشه. کاری که در کاریوکی می کنیم. همه دنیای لینوکس هم علاقمند هستن به ایشون کمک کنن (:

راه حل من طبق معمول یک کامند لینوکسی است:

sox MusicVoroodi.mp3 Music_khorooji_no_vocal.mp3 oops

دستور که مشخصه، فایل ورودی و خروجی داره و تنها یک پارامتر: oops که البته در توضیحش نوشته:

Out Of Phase Stereo effect. Mixes stereo to twin-mono where each mono channel contains the difference between the left and right stereo channels. This is sometimes known as the ‘karaoke’ effect as it often has the effect of removing most or all of the vocals from a recording

در مورد این آهنگ بد هم جواب نداد و امیدوارم باعث بشه ایشون تهدیدش رو عملی نکنه.