亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Perl > 正文

perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)

2020-10-31 15:17:05
字體:
供稿:網(wǎng)友

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結(jié)果:
1 3 
1 5 
2 1 
4 1
那么,請借助以下的perl腳本來實現(xiàn)。

代碼一:

復(fù)制代碼 代碼如下:

#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:////perl////data.txt/n"; 
chomp($filename=<STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(<IN>) 

   chomp; 
   @information=split//s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(<IN>) 
   { 
       @information=split//s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f://A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a<=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2/n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個文件data有10G大,但是有好多行都是重復(fù)的,需要將該文件中重復(fù)的行合并為一行,那么我們需要用什么辦法來實現(xiàn)
cat data |sort|uniq > new_data #該方法可以實現(xiàn),但是你需要花上好幾個小時。結(jié)果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單,創(chuàng)建一個hash,每行的內(nèi)容為鍵,值由每行出現(xiàn)的次數(shù)來填充,腳本如下;

復(fù)制代碼 代碼如下:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
        printf("Usage:/n");
        printf("perl $script <source_file> <dest_file>/n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {

        &usage;
        exit 0;
}


my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"<$source_file") or die "Cannot open file $!/n";
open (SORTED,">$dest_file") or die "Cannot open file $!/n";

while(defined (my $line = <FILE>))
{
        chomp($line);
        $hash{$line} += 1;
        # print "$line,$hash{$line}/n";
}

foreach my $k (keys %hash) {
        print SORTED "$k,$hash{$k}/n";#改行打印出列和該列出現(xiàn)的次數(shù)到目標文件
}
close (FILE);
close (SORTED);

代碼三:

通過perl腳本,刪除數(shù)據(jù)組中重復(fù)的字段

復(fù)制代碼 代碼如下:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合條件的元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "/n";

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
国产亚洲成aⅴ人片在线观看| 国产精品久久国产三级国电话系列| 中文字幕精品一区二| 亚洲精品一线二线三线无人区| 国产一区二区黑人欧美xxxx| 亚洲风情在线资源站| 日韩精品视频免费| 麻豆av在线播放| 青青草视频在线视频| 亚洲精品动漫久久久久| 国产精品97在线| 亚洲毛片av在线| 波多野结衣之无限发射| 中文久久久久久| 91福利视频免费观看| 亚洲精品97久久| 亚洲人体影院| 日韩视频一二区| 欧美三级美国一级| 久久久久亚洲| 亚洲精品狠狠操| 欧美激情xxxxx| 亚洲成人av影片| 日韩在线一区二区三区四区| 久久av在线播放| 四虎海外永久免费网址| 亚洲欧美日韩国产综合| 久久精品国产成人av| 精品一区二区日韩| 国产自产精品| 91看片一区| 色婷婷在线观看视频| 亚洲激情视频网站| 久久婷婷国产麻豆91天堂| 国产精品第108页| 亚洲成人黄色在线| 国产aⅴ精品一区二区三区黄| 国产福利一区二区三区在线视频| 黄网站app在线观看| 欧美色图国产精品| 免费的毛片视频| 日韩精品中文字幕在线观看| 久久久久久国产精品久久| 伊人久久久久久久久久| 欧美一区二区三区人| 日本我和搜子同居的日子高清在线| 一区不卡视频| 中文字幕久久午夜不卡| 诱受h嗯啊巨肉高潮| 手机亚洲第一页| 欧美日韩成人一区二区| 亚洲综合小说图片| 亚洲人妻一区二区三区| 色先锋资源网| 91亚洲国产成人精品一区二区三| 超碰超碰超碰超碰超碰| 草裙成人精品一区二区三区| 超碰在线观看免费版| 欧美一区二区人人喊爽| 国产无人区码熟妇毛片多| 午夜精品在线观看| 影视一区二区三区| 国内精品久久久久久影视8| jizz国产免费| 岛国一区二区在线观看| 四虎永久在线精品免费网址| 精品亚洲成av人在线观看| 国产黄色片视频| 亚洲黄色小说视频| 国产精品综合不卡av| 亚洲成人精选| 日本精品中文字幕| 日本www高清视频| 国产在线一区二区| 天堂www在线а√天堂| 欧洲另类一二三四区| 男人天堂avav| www.中文字幕.com| 国产美女情趣调教h一区二区| 天堂va欧美ⅴa亚洲va一国产| 欧美日韩大片一区二区三区| 91香蕉视频在线观看视频| 97婷婷大伊香蕉精品视频| 中国在线观看免费国语版电影| 国产精品网站免费| 国产一区二区调教| 亚洲精品2区| 国产一二区在线观看| 亚洲人成在线网站| 国产一区二区视频免费| 91精品视频在线| 怡红院av亚洲一区二区三区h| 青青草原成人网| 91精品国产自产观看在线| 亚洲国产成人精品久久久国产成人一区| 伊人色综合久久天天人手人婷| 性做久久久久久| 91福利国产成人精品照片| 国产乱码精品一区二区三区卡| 91麻豆精东视频| 哥也色在线视频| 欧美在线免费观看亚洲| 国产.精品.日韩.另类.中文.在线.播放| 亚洲色图第三页| 国产xxx免费观看| 亚洲精品一区二区三区福利| 26uuu国产在线精品一区二区| 国产精品国产自产拍在线| 性色a∨人人爽网站| 国产精品视频你懂的| 欧美片第1页| 人与人69性欧美三人交| 欧美成年人视频| 麻豆精品不卡国产免费看| 婷婷丁香久久| 国产一区二区视频免费| 欧美日韩国产精品成人| 中文字幕在线中文字幕在线中三区| 国产 欧美 日韩 一区| 国产成人在线精品| 5g国产欧美日韩视频| 亚洲国产欧美在线人成| 尤物在线观看视频| 青青一区二区| 色999五月色| √天堂中文www官网| 老司机午夜福利视频| 国产免费一区二区三区视频| 人人爽人人av| 国产精欧美一区二区三区蓝颜男同| 国产一级在线免费观看| 国产成年人免费视频| 99久久久久国产精品免费| 欧美日本成人| japanesexxxxfree在线观看| 日本人妻一区二区三区| 国产精品23p| 欧美亚洲国产怡红院影院| 国产精品欧美一区二区三区奶水| 999日本视频| 一区二区三区日韩欧美| sese一区| 亚洲精品国产精品乱码| 亚洲黄色av女优在线观看| 国产精品高清一区二区三区| 欧美精品成人91久久久久久久| 天天摸天天做天天爽| 四虎8848精品成人免费网站| 97干在线视频| 日韩欧美在线视频日韩欧美在线视频| 两个人免费视频观看日本| 黄色成年人视频在线观看| 视频精品导航| 老司机99精品99| 欧美精品一区在线发布| 欧美狂猛xxxxx乱大交3| www.激情五月| 亚洲天堂久久新| 亚洲警察之高压线| 国产九色porn网址| 精品写真视频在线观看| 韩国成人漫画| 精品人妻一区二区三区日产| 免费成人在线视频观看| 欧美成人精品在线观看| 一级在线视频| 一区二区三区伦理| 老熟妇仑乱视频一区二区| 男女爽爽爽视频| 国产美女搞久久| 成人在线视频电影| 老牛影视一区二区三区| 天天操天天色综合| jlzzjlzz亚洲女人18| 亚洲a级黄色片| 亚洲精品视频一区二区三区| 亚洲成人人体| 一本色道久久综合亚洲二区三区| 18+视频在线观看| 蜜桃网站在线观看| 日韩成人免费| 日韩av手机版| 一区二区三区在线观看www| 精品亚洲精品福利线在观看| 美女毛片一区二区三区四区最新中文字幕亚洲| 亚洲国产果冻传媒av在线观看| 国产一区二区网址| 亚洲图片在线视频| 亚洲va欧美va天堂v国产综合| 97精品视频在线看| 国产精品69久久久久孕妇欧美| 国产做受69高潮| 色婷婷av一区二区三区大白胸| 亚洲三级电影| 欧美综合在线视频| 一区二区三区偷拍| 最新日韩免费视频| 色视频在线免费| 中文字幕av不卡| 国产精品香蕉一区二区三区| 欧美理论在线观看| 日本视频中文字幕一区二区三区| 天堂tv亚洲tv日本tv欧美人tv| 麻豆免费看一区二区三区| 69174成人网| 久久久无码中文字幕久...| www.黄色com| 性感av在线播放| www.欧美亚洲| 偷拍精品一区二区三区| 一本色道精品久久一区二区三区| 亚洲日本精品国产第一区| 黄频网站在线观看| 亚洲黄一区二区| 欧美成人精品二区三区99精品| 91久久精品日日躁夜夜躁欧美| 免费黄色在线观看| 国产日韩精品一区二区三区| 亚洲精品自产拍| 亚洲第一主播视频| 一边摸一边做爽的视频17国产| 国产一区二区在线观看免费播放| 亚洲精品久久久久avwww潮水| 女性女同性aⅴ免费观女性恋| 99久久人妻精品免费二区| 国产成人无码一二三区视频| 色综合婷婷久久| 欧美一区二区三区四区在线观看地址| 精品国产第一区二区三区观看体验| 国产在线一区视频| 欧美色国产精品| 精品一区久久久久久| 青青草免费av| 久草资源在线视频| 国产91精品入口17c| www.久久草.com| 欧美13一16娇小xxxx| 欧美亚洲国产一区在线观看网站| 88xx成人永久免费观看| 国产高清精品一区二区| 色哟哟网站入口亚洲精品| 18视频在线观看| 亚洲午夜精品一区二区三区他趣| 国产中文字幕日韩| 精品国产欧美日韩不卡在线观看| 免费无遮挡无码永久在线观看视频| 在线观看 中文字幕| 中文字幕第20页| 三上悠亚在线观看| 秋霞a级毛片在线看| 欧美视频一区在线观看| 99久久影视| 7777精品伊人久久久大香线蕉完整版| 中文字幕av一区二区三区谷原希美| 国产你懂的在线观看| 中文字幕在线日亚洲9| 东京干手机福利视频| 91久久久久国产一区二区| 欧美日韩亚洲视频一区| 亚洲天堂黄色| 天堂中文资源在线| 欧美日韩伦理| 妺妺窝人体色www在线下载| 国产高清日韩| 久久久精品国产网站| 天堂√在线观看一区二区| 99精品久久免费看蜜臀剧情介绍| √…a在线天堂一区| 亚洲男人天堂一区| 美国一级片在线免费观看视频| 成人妇女免费播放久久久| 9.1成人看片| 人人干人人看| 久久午夜宅男免费网站| 黄色录像二级片| 日本在线免费| 天天色综合天天色| 国产一区二区三区四区| 日韩在线免费看| 久草成人在线| 日韩三级电影网址| 亚洲欧洲视频在线| 激情久久久久| 一区二区不卡久久精品| 正在播放欧美一区| 国产精品久久久久久久久毛片| 日本视频精品一区| 国产一区在线不卡| 狠狠操精品视频| 人人狠狠综合久久亚洲婷| 白天操夜夜操| av一级黄色片| 国产三级精品网站| 老司机亚洲精品| 国产精品久久综合av爱欲tv| 成人午夜激情片| 91精品中文字幕一区二区三区| 在线中文字幕不卡| 中文字幕2022永久在线| 成人av动漫| 国产精品久久久久久久久久久久久久久| 欧美亚韩一区| www.国产麻豆| 六月天色婷婷| 天堂在线观看视频观看www| 亚洲一区二区小说| 一区二区三区色| 日韩视频―中文字幕| 欧美激情麻豆| 亚洲av熟女国产一区二区性色| 精品无码av一区二区三区不卡| 免费av福利在线观看| 99久久这里有精品| 日韩精品成人一区二区在线| 黄色电影免费在线观看| 欧美xxxx做受欧美88bbw| 欧美xxxxx视频| 欧美一级在线亚洲天堂| 国产亚洲自拍av| 中文字幕一区二区三| 欧美电影在线观看完整版| 亚洲天堂一区| 伊人成人在线| 福利小视频在线| 欧美精品色一区二区三区| 精产国品一区二区| 国产精品极品美女在线观看| 欧美日韩四区|