飯能町は郡の西南部に位し、北は東吾野、高麗二村、東は精明村、南は加治、南高麗二村、西は原市場村に接続す。其地東西に長く、南北に短し。川越町を去る五里、入間川町を去る二里半也。秩父街道（吾野道及名栗道の二あり）の要地に居り、南に青梅街道、東に豊岡、入間街道、北に越生街道あり。馬車鉄道は入間川町に至る。地勢南北に丘陵多く名栗川中央を貫流せり。東部は稍々平にして、市街は此処にあり。多峯主（とうのす）山は郡内高山の中にありて二三位に居る。天賢山（元羅漢山）、龍涯山等名あり。風景佳也。
樋織及養蚕等の業盛にして、生絹、七子、生糸等の産あり。市街は付近数村乃至秩父地方の交易地として繁昌せり、警察署、郵便局、区裁判所出張所等あり。飯能、中山、久須美、小瀬戸、大河原、小岩井、永田の七大字に分れ、人口七千六百八、戸数一千三百三十。
飯能今はハンノウと称すれど、古はハンノと唱へしか。武蔵七党丹党に判乃氏あり。而してハンノは即ち榛野にして、荻野の義なりとの説あり。従ふべきに似たり。
判乃氏は高麗経家の第三子に出て、子孫並に事蹟明ならずと雖、飯能町に住して、其居館は小学校の付近なりしが如く、或は判乃氏の系夙に絶えて加治氏の族此地を支配せしと覚しく、諏訪神社の棟札の写には、加治菊房丸（永正十三年）、加治吉範（天正十六年）の名を残せり。居館に隣りて元、大泉寺ありしも今は廃絶に帰せり。中山は丹党中山氏の居住せし所にして、智観寺は其氏寺也。創立古きに似たり。中山家範は後北条氏に仕へ、天正十八年八王子に籠城して、 小田原に殉し、坂東武士の意気を示したりき。其四世の孫直張の子直邦、徳川綱吉に用ゐられ、母方の黒田氏を継ぎ、万石侯となりて飯能付近を領せり。
蓋し飯能の町たる古来鎌倉、八王子、府中、江戸方面より秩父に至るの関門に当り、鎌倉街道の一派も此地を通ぜしが如く、人家も稍々密集せしに似たり。繩市とて縄、筵、其外青梅縞、絹、太織、米穀等の市は毎月六十の日を撰で行はれたり。中山も江戸時代には上州地方より八王子に赴く駅路に当り、中山町と唱へられて、一五の日に市の行はれしとありき。全町天正十八年以後支配地となり、宝永四年黒田直邦の領地となり、幕末の頃は一橋家領、岩槻領、支配地あり、其大部は依然黒田氏の所属にして久留里領なりしが、明治元年支配地は知県事に、二年各領地は久留里藩、岩槻藩となり、一橋領は岩鼻県となり、武蔵知県事所轄地は品川県、次で韭山県となり、四年久留里県、岩槻県、岩鼻県、韮山県あり、其十一月全町入間県（四大区六七小区）となり、六年熊谷県、九年埼玉県、十二年入間高麗郡役所々轄（高麗郡）、十七年飯能連合、二十二年飯能町を成し、二十九年入間郡となる。
尚小瀬戸には岡部氏屋敷跡ありて六弥太の後胤岡部小右衛門土着せりと云ひ、大河原は軍茶ヶ根村と称せられ、永田は長田と記され、久須美には七党村山党の一派宮寺の後胤住せしものゝ如く、大字飯能の東及東南には明治初年の頃まで真能寺及久下分の両村ありしも今は飯能に入る。明治元年の飯能戦争は次項に記さん。
明治元年五月十五日幕府方の一隊上野に敗れ、其一部逃れて飯能町に拠る。其数四五百、号して二千と称す。乃ち紀律を厳にし掠奪を戒め防備を張る。渋沢平九郎、山中幸作、本多晋等将たり。官軍は入間川付近に陣し、川越藩右翼先鋒たり。佐土原藩左翼先鋒たり。二十三日決戦行はれ、何れも殊死して戦ひしが衆寡敵せず。幕府方破れて山中幸作等之に死し、渋沢平九郎傷て黒山に走り、遂に河畔の石上に自刃せり。此役能仁寺は幕府方の根拠地とも称すべく、為に兵火を蒙る。市街も亦烏有となれり。官軍は二十五日凱旋せり。