|
|
english = """
|
|
|
all six eleven just less being indeed over both anyway detail four front already through yourselves fify
|
|
|
mill still its before move whose one system also somewhere herself thick show had enough should to only
|
|
|
seeming under herein ours two has might thereafter do them his around thereby get very de none cannot
|
|
|
every whether they not during thus now him nor name regarding several hereafter did always cry whither
|
|
|
beforehand this someone she each further become thereupon where side towards few twelve because often ten
|
|
|
anyhow doing km eg some back used go namely besides yet are cant our beyond ourselves sincere out even
|
|
|
what throughout computer give for bottom mine since please while per find everything behind does various
|
|
|
above between kg neither seemed ever across t somehow be we who were sixty however here otherwise whereupon
|
|
|
nowhere although found hers re along quite fifteen by on about didn last would anything via of could thence
|
|
|
put against keep etc s became ltd hence therein onto or whereafter con among own co afterwards formerly
|
|
|
within seems into others whatever yourself down alone everyone done least another whoever moreover couldnt
|
|
|
must your three from her their together top there due been next anyone whom much call too interest thru
|
|
|
themselves hundred was until empty more himself elsewhere mostly that fire becomes becoming hereby but
|
|
|
else part everywhere former don with than those he me forty myself made full twenty these bill using up us
|
|
|
will nevertheless below anywhere nine can theirs toward my something and sometimes whenever sometime then
|
|
|
almost wherever is describe am it doesn an really as itself at have in seem whence ie any if again hasnt
|
|
|
inc un thin no perhaps latter meanwhile when amount same wherein beside how other take which latterly you
|
|
|
fill either nobody unless whereas see though may after upon therefore most hereupon eight amongst never
|
|
|
serious nothing such why a off whereby third i whole noone many well except amoungst yours rather without
|
|
|
so five the first having once
|
|
|
"""
|
|
|
|
|
|
spanish = """
|
|
|
un una unas unos uno sobre todo tambien tras otro algun alguno alguna algunos algunas ser es soy eres somos
|
|
|
sois estoy esta estamos estais estan como en para atras porque por que estado estaba ante antes siendo ambos
|
|
|
pero por poder puede puedo podemos podeis pueden fui fue fuimos fueron hacer hago hace hacemos haceis hacen
|
|
|
cada fin incluso primero desde conseguir consigo consigue consigues conseguimos consiguen ir voy va vamos
|
|
|
vais van vaya gueno ha tener tengo tiene tenemos teneis tienen el la lo las los su aqui mio tuyo ellos ellas
|
|
|
nos nosotros vosotros vosotras si dentro solo solamente saber sabes sabe sabemos sabeis saben ultimo largo
|
|
|
bastante haces muchos aquellos aquellas sus entonces tiempo verdad verdadero verdadera cierto ciertos cierta
|
|
|
ciertas intentar intento intenta intentas intentamos intentais intentan dos bajo arriba encima usar uso usas
|
|
|
usa usamos usais usan emplear empleo empleas emplean ampleamos empleais valor muy era eras eramos eran modo
|
|
|
bien cual cuando donde mientras quien con entre sin trabajo trabajar trabajas trabaja trabajamos trabajais
|
|
|
trabajan podria podrias podriamos podrian podriais yo aquel a acabar actualmente acuerdo adelante ademas
|
|
|
ademas adrede afirmo agrego ahi ahora ahi al algo alguna algunas alguno algunos algun alla alli alli alrededor
|
|
|
ambos antano antano ante anterior antes apenas aproximadamente aquel aquella aquellas aquello aquellos aqui
|
|
|
aquel aquella aquellas aquellos aqui arribaabajo aseguro asi asi aun aunque ayer anadio aun b bajo bastante
|
|
|
bien breve buen buena buenas bueno buenos c cada casi cerca cierto cinco claro comento como con conmigo
|
|
|
conocer considera considero contigo contra cosa cosas creo cual cuales cualquier cuando cuanta cuantas cuanto
|
|
|
cuantos cuatro cuenta cuyo cual cuales cuando cuanta cuantas cuanto cuantos como d da dado dan dar de debajo
|
|
|
debe deben deber debido decir dejo del delante demasiado demas dentro deprisa desde despacio despues despues
|
|
|
detras detras dia dias dice dicen dicho dieron diferente diferentes dijeron dijo dio donde dos durante dia
|
|
|
dias donde e ejemplo el ella ellas ello ellos embargo en encima encuentra enfrente enseguida entonces entre
|
|
|
era erais eramos eran eras eres es esa esas ese eso esos esta estaba estabais estabamos estaban estabas estad
|
|
|
estada estadas estado estados estais estamos estan estando estar estara estaran estaras estare estareis
|
|
|
estaremos estaria estariais estariamos estarian estarias estara estas este esteis estemos esten estes esto
|
|
|
estos estoy estuve estuviera estuvierais estuvieramos estuvieran estuvieras estuvieron estuviese estuvieseis
|
|
|
estuviesemos estuviesen estuvieses estuvimos estuviste estuvisteis estuvo esta estan ex excepto existe existen
|
|
|
explico expreso f fin final fue fuera fuerais fueramos fueran fueras fueron fuese fueseis fuesemos fuesen
|
|
|
fueses fui fuimos fuiste fuisteis g general gran grande grandes gustar h ha habeis haber habia habiais habiamos
|
|
|
habian habias habida habidas habido habidos habiendo habla hablan habra habran habras habre habreis habremos
|
|
|
habria habriais habriamos habrian habrias habra habia habian hace hacen hacer hacerlo hacia haciendo han has
|
|
|
hasta hay haya hayais hayamos hayan hayas he hecho hemos hicieron hizo horas hoy hube hubiera hubierais
|
|
|
hubieramos hubieran hubieras hubieron hubiese hubieseis hubiesemos hubiesen hubieses hubimos hubiste hubisteis
|
|
|
hubo i igual incluso indico informo informo ir j jamas junto k l la lado las le lejos les llego lleva llevar
|
|
|
lo los luego lugar m mal manera manifesto mas mayor me mediante medio mejor menciono menos menudo mi mia mias
|
|
|
mientras mio mios mis misma mismas mismo mismos momento mucha muchas mucho muchos muy mas mi mia mias mio mios
|
|
|
n nada nadie ni ningun ninguna ningunas ninguno ningunos ningun no nos nosotras nosotros nuestra nuestras
|
|
|
nuestro nuestros nueva nuevas nuevo nuevos nunca o ocho os otra otras otro otros p pais para parece parte
|
|
|
partir pasada pasado pasar pais peor pequeno pero pesar poca pocas poco pocos podemos poder podra podran podria
|
|
|
podrian poner por porque posible primer primera primero primeros principalmente pronto propia propias propio
|
|
|
propios proximo proximo proximos pudo pueda puede pueden pues q qeu que quedo queremos querer quien quienes
|
|
|
quiere quiza quizas quiza quizas quien quienes que r raras realizado realizar realizo repente respecto s saber
|
|
|
salvo se sea seais seamos sean seas seguir segun segunda segundo segun seis senor senora ser sera seran seras
|
|
|
sere sereis seremos seria seriais seriamos serian serias sera seran seria senalo si sido siempre siendo siete
|
|
|
sigue siguiente sin sino sisi sobre sois sola solamente solas solo solos somos son soy soyos su supuesto sus
|
|
|
suya suyas suyo suyos se si solo t tal tambien tambien tampoco tan tanto tarde te temprano tendra tendran
|
|
|
tendras tendre tendreis tendremos tendria tendriais tendriamos tendrian tendrias tendra tendran tened teneis
|
|
|
tenemos tener tenga tengais tengamos tengan tengas tengo tenia teniais teniamos tenian tenias tenida tenidas
|
|
|
tenido tenidos teniendo tenia tercera ti tiene tienen tienes toda todas todavia todavia todo todos tomar total
|
|
|
tras trata traves tres tu tus tuve tuviera tuvierais tuvieramos tuvieran tuvieras tuvieron tuviese tuvieseis
|
|
|
tuviesemos tuviesen tuvieses tuvimos tuviste tuvisteis tuvo tuya tuyas tuyo tuyos tu u un una unas uno unos
|
|
|
usted ustedes v va vamos van varias varios veces venir ver vez volver vosotras vosotros vuestra vuestras vuestro
|
|
|
vuestros w x y ya yo z el esa esas ese esos esta estas este estos ultima ultimas ultimo ultimos
|
|
|
"""
|
|
|
|
|
|
german = """
|
|
|
aber als am an auch auf aus bei bin bis bist da dadurch daher darum das daß dass dein deine dem den der des
|
|
|
dessen deshalb die dies dieser dieses doch dort du durch ein eine einem einen einer eines er es euer eure fur
|
|
|
hatte hatten hattest hattet hierhinter ich ihr ihre im in ist ja jede jedem jeden jeder jedes jener jenes jetzt
|
|
|
kann kannst konnen konnt machen mein meine mit muß mußt musst mussen mußt nach nachdem nein nicht nun oder seid
|
|
|
sein seine sich sie sind soll sollen sollst sollt sonst soweit sowie und unserunsere unter vom von vor wann
|
|
|
warum was weiter weitere wenn wer werde werden werdet weshalb wie wieder wieso wir wird wirst wo woher wohin zu
|
|
|
zum zur uber
|
|
|
"""
|
|
|
|
|
|
portuguese = """
|
|
|
de a o que e do da em um para é com não uma os no se na por mais as dos como mas foi ao ele das tem à seu
|
|
|
sua ou ser quando muito há nos já está eu também só pelo pela até isso ela entre era depois sem mesmo aos ter
|
|
|
seus quem nas me esse eles estão você tinha foram essa num nem suas meu às minha têm numa pelos elas havia seja
|
|
|
qual será nós tenho lhe deles essas esses pelas este fosse dele tu te vocês vos lhes meus minhas teu tua teus
|
|
|
tuas nosso nossa nossos nossas dela delas esta estes estas aquele aquela aqueles aquelas isto aquilo estou está
|
|
|
estamos estão estive esteve estivemos estiveram estava estávamos estavam estivera estivéramos esteja estejamos
|
|
|
estejam estivesse estivéssemos estivessem estiver estivermos estiverem hei há havemos hão houve houvemos houveram
|
|
|
houvera houvéramos haja hajamos hajam houvesse houvéssemos houvessem houver houvermos houverem houverei houverá
|
|
|
houveremos houverão houveria houveríamos houveriam sou somos são era éramos eram fui foi fomos foram fora fôramos
|
|
|
seja sejamos sejam fosse fôssemos fossem for formos forem serei será seremos serão seria seríamos seriam tenho
|
|
|
tem temos tém tinha tínhamos tinham tive teve tivemos tiveram tivera tivéramos tenha tenhamos tenham tivesse
|
|
|
tivéssemos tivessem tiver tivermos tiverem terei terá teremos terão teria teríamos teriam
|
|
|
"""
|
|
|
|
|
|
swedish = """
|
|
|
aderton adertonde adjö aldrig alla allas allt alltid alltså andra andras annan annat artonde artonn att av bakom
|
|
|
bara behöva behövas behövde behövt beslut beslutat beslutit bland blev bli blir blivit bort borta bra bäst bättre
|
|
|
båda bådas dag dagar dagarna dagen de del delen dem den denna deras dess dessa det detta dig din dina dit ditt
|
|
|
dock dom du där därför då e efter eftersom ej elfte eller elva emot en enkel enkelt enkla enligt ens er era ers
|
|
|
ert ett ettusen fanns fem femte femtio femtionde femton femtonde fick fin finnas finns fjorton fjortonde fjärde
|
|
|
fler flera flesta fram framför från fyra fyrtio fyrtionde få får fått följande för före förlåt förra första
|
|
|
genast genom gick gjorde gjort god goda godare godast gott gälla gäller gällt gärna gå går gått gör göra ha hade
|
|
|
haft han hans har heller hellre helst helt henne hennes hit hon honom hundra hundraen hundraett hur här hög höger
|
|
|
högre högst i ibland icke idag igen igår imorgon in inför inga ingen ingenting inget innan inne inom inte inuti
|
|
|
ja jag jo ju just jämfört kan kanske knappast kom komma kommer kommit kr kunde kunna kunnat kvar legat ligga
|
|
|
ligger lika likställd likställda lilla lite liten litet länge längre längst lätt lättare lättast långsam
|
|
|
långsammare långsammast långsamt långt låt man med mej mellan men mer mera mest mig min mina mindre minst mitt
|
|
|
mittemot mot mycket många måste möjlig möjligen möjligt möjligtvis ned nederst nedersta nedre nej ner ni nio
|
|
|
nionde nittio nittionde nitton nittonde nog noll nr nu nummer när nästa någon någonting något några nån nånting
|
|
|
nåt nödvändig nödvändiga nödvändigt nödvändigtvis och också ofta oftast olika olikt om oss på rakt redan rätt sa
|
|
|
sade sagt samma sedan senare senast sent sex sextio sextionde sexton sextonde sig sin sina sist sista siste sitt
|
|
|
sitta sju sjunde sjuttio sjuttionde sjutton sjuttonde själv sjätte ska skall skulle slutligen små smått snart som
|
|
|
stor stora stort större störst säga säger sämre sämst så sådan sådana sådant ta tack tar tidig tidigare tidigast
|
|
|
tidigt till tills tillsammans tio tionde tjugo tjugoen tjugoett tjugonde tjugotre tjugotvå tjungo tolfte tolv tre
|
|
|
tredje trettio trettionde tretton trettonde två tvåhundra under upp ur ursäkt ut utan utanför ute va vad var vara
|
|
|
varför varifrån varit varje varken vars varsågod vart vem vems verkligen vi vid vidare viktig viktigare viktigast
|
|
|
viktigt vilka vilkas vilken vilket vill väl vänster vänstra värre vår våra vårt än ännu är även åt åtminstone
|
|
|
åtta åttio åttionde åttonde över övermorgon överst övre
|
|
|
"""
|
|
|
|
|
|
danish = """
|
|
|
ad af aldrig alle alt anden andet andre at bare begge blev blive bliver da de dem den denne der deres det dette
|
|
|
dig din dine disse dit dog du efter ej eller en end ene eneste enhver er et far fem fik fire flere fleste for
|
|
|
fordi forrige fra få får før god godt ham han hans har havde have hej helt hende hendes her hos hun hvad hvem
|
|
|
hver hvilken hvis hvor hvordan hvorfor hvornår i ikke ind ingen intet ja jeg jer jeres jo kan kom komme kommer
|
|
|
kun kunne lad lav lidt lige lille man mand mange med meget men mens mere mig min mine mit mod må ned nej ni nogen
|
|
|
noget nogle nu ny nyt når nær næste næsten og også okay om op os otte over på se seks selv ser ses sig sige
|
|
|
sin sine sit skal skulle som stor store syv så sådan tag tage thi ti til to tre ud under var ved vi vil ville
|
|
|
vor vores være været alene allerede alligevel altid bag blandt burde bør dens derefter derfor derfra deri dermed
|
|
|
derpå derved egen ellers endnu ens enten flest foran først gennem gjorde gjort gør gøre gørende hel heller hen
|
|
|
henover herefter heri hermed herpå hvilke hvilkes hvorefter hvorfra hvorhen hvori hvorimod hvorved igen igennem
|
|
|
imellem imens imod indtil langs lave lavet ligesom længere mellem mest mindre mindst måske nemlig nogensinde nok
|
|
|
omkring overalt samme sammen selvom senere siden stadig synes syntes således temmelig tidligere tilbage tit uden
|
|
|
udover undtagen via vore vær øvrigt
|
|
|
"""
|
|
|
|
|
|
italian = """
|
|
|
un avete dal voi nostri avesti stiano starò sull tutto faccio sarai vostri farebbe ai degli farò c faccia lo
|
|
|
sullo farà facevate avendo fummo stiamo staranno questi sia con sue al mio fareste ero di e avessi alle avreste
|
|
|
avesse alla avrei avemmo col ad ne avremmo avevano tuo avessero siate suoi facevo ti che mi questa avrebbe fossero
|
|
|
tua starebbero faceste facesti anche cui ho tra foste stavamo non stessi avevate nostre quelli queste avrete eri
|
|
|
facemmo stavate stia in dagl avrò avremo se feci furono io stavano nelle quante per abbiano nell faceva fecero steste
|
|
|
eravamo farei sarei avevi sui quanto dai dello era loro su quello fossi stava nostra quale una farete gli siano avranno
|
|
|
i stette fece negli facciano facevano dove vostra farebbero sugli vostro uno aveva dall ha avuto avuti sarete sulla sarà
|
|
|
perché essendo fai siete facendo da avevamo starà o faranno lei mie stiate nel fu facciamo stessero noi facciate stando
|
|
|
si è avute sarebbero miei sto contro avrà coi chi ci avrebbero aveste stettero abbiamo sarebbe agl del stareste sua faremo
|
|
|
siamo fanno sei abbiate fui ed quella dalle facessero tue fosti facevamo erano stessimo nei facessimo nello le dell abbia
|
|
|
fosse farai facesse starai stavo staremo mia stesse avevo lui agli fossimo dagli vostre stanno sareste quanti stemmo facessi
|
|
|
ebbe stesti tuoi dallo tutti sugl staremmo vi la dei quanta ebbero stavi saranno delle dalla saresti staresti stai suo nostro
|
|
|
aremo starete saremmo sarò li hai allo avresti dov avuta faresti starei il quelle degl all a ebbi nella eravate stetti negl
|
|
|
come questo facevi sulle più tu della sono starebbe sul hanno faremmo sta avrai avessimo ma l
|
|
|
"""
|
|
|
|
|
|
# stopwords from https://github.com/bieli/stopwords repository
|
|
|
polish = """
|
|
|
a aby ach acz aczkolwiek aj albo ale alez ależ ani az aż bardziej bardzo beda bedzie bez deda będą bede będę
|
|
|
będzie bo bowiem by byc być byl byla byli bylo byly był była było były bynajmniej cala cali caly cała cały ci
|
|
|
cie ciebie cię co cokolwiek cos coś czasami czasem czemu czy czyli daleko dla dlaczego dlatego do dobrze
|
|
|
dokad dokąd dosc dość duzo dużo dwa dwaj dwie dwoje dzis dzisiaj dziś gdy gdyby gdyz gdyż gdzie gdziekolwiek
|
|
|
gdzies gdzieś go i ich ile im inna inne inny innych iz iż ja jak jakas jakaś jakby jaki jakichs jakichś jakie
|
|
|
jakis jakiś jakiz jakiż jakkolwiek jako jakos jakoś ją je jeden jedna jednak jednakze jednakże jedno jego jej
|
|
|
jemu jesli jest jestem jeszcze jeśli jezeli jeżeli juz już kazdy każdy kiedy kilka kims kimś kto ktokolwiek
|
|
|
ktora ktore ktorego ktorej ktory ktorych ktorym ktorzy ktos ktoś która które którego której który których
|
|
|
którym którzy ku lat lecz lub ma mają mało mam mi miedzy między mimo mna mną mnie moga mogą moi moim moj
|
|
|
moja moje moze mozliwe mozna może możliwe można mój mu musi my na nad nam nami nas nasi nasz nasza nasze
|
|
|
naszego naszych natomiast natychmiast nawet nia nią nic nich nie niech niego niej niemu nigdy nim nimi niz
|
|
|
niż no o obok od około on ona one oni ono oraz oto owszem pan pana pani po pod podczas pomimo ponad poniewaz
|
|
|
ponieważ powinien powinna powinni powinno poza prawie przeciez przecież przed przede przedtem przez przy roku
|
|
|
rowniez również sam sama są sie się skad skąd soba sobą sobie sposob sposób swoje ta tak taka taki takie
|
|
|
takze także tam te tego tej ten teraz też to toba tobą tobie totez toteż totobą trzeba tu tutaj twoi twoim
|
|
|
twoj twoja twoje twój twym ty tych tylko tym u w wam wami was wasz wasza wasze we według wiele wielu więc
|
|
|
więcej wlasnie właśnie wszyscy wszystkich wszystkie wszystkim wszystko wtedy wy z za zaden zadna zadne
|
|
|
zadnych zapewne zawsze ze zeby zeznowu zł znow znowu znów zostal został żaden żadna żadne żadnych że żeby
|
|
|
"""
|
|
|
|
|
|
arabic = """أنت كليكما اللتان بنا هما إذا اللواتي أينما كلاهما إما كيت إذ هم ليس كيف لك هن لئن ألا عليك وإن إليكما أيها لعل أنتن كأي لسن ممن له
|
|
|
حين اللتين فيها عسى ما هي أين ليسا هنا بما عما هاته ذاك لدى هاك نحو بكم ذواتا هذا أقل اللتيا إن مع لكما بكما قد لي أولئك إليك أن كلا
|
|
|
ليسوا بس ذات فيه منها ومن هو بها كأنما هاهنا هاتان هذي ذلك كما أوه هكذا ذوا ليست لكي نعم لكن خلا لكم أنا بخ تي فلا حبذا أولاء
|
|
|
ذواتي منذ ولو بين لكنما سوى آها تلك إي آي إذما الذي كليهما لكيلا لهما بعض يا بكن حيثما وإذا بهما ذا ها فيما ماذا والذين لستما كل
|
|
|
لوما ثمة متى عند في هيهات أما ذان الذين وهو أنتم كي آه ذي إذن إليكم بل فإن وإذ تلكما هلا فإذا هذه ذلكم فمن إلا إنا بمن كذلك هاتين
|
|
|
عليه كأن هل ذلكما مهما شتان والذي هيا ذين لستن بك مذ ولا هذين كأين فيم حتى إنما بهن هنالك أم لسنا غير لنا منه نحن اللاتي بعد تينك
|
|
|
ذلكن ولكن كلما إيه عدا لها هذان ته حاشا دون أنى عن تين أكثر كلتا إنه بيد كذا هاتي ذو لست لم إليكن وما مما إلى ذانك اللذين من مه أف
|
|
|
كم اللائي حيث ليستا هؤلاء بماذا ليت هيت بهم لهن التي لولا لو لهم هناك ثم سوف كيفما لستم لما ذينك بلى لا تلكم على لاسيما به بي اللذان أي ذه لن عل أو ريث أنتما
|
|
|
"""
|
|
|
|
|
|
LANGUAGES = {
|
|
|
"danish": danish,
|
|
|
"english": english,
|
|
|
"german": german,
|
|
|
"spanish": spanish,
|
|
|
"portuguese": portuguese,
|
|
|
"swedish": swedish,
|
|
|
"italian": italian,
|
|
|
"polish": polish,
|
|
|
"arabic": arabic
|
|
|
}
|
|
|
|
|
|
|
|
|
def get_stopwords_by_language(language):
|
|
|
if language in LANGUAGES:
|
|
|
return LANGUAGES[language]
|
|
|
return ""
|